Бенчмарк ParallelKernelBench показал ограничения LLM при написании быстрых multi-GPU CUDA‑ядер
Бенчмарк ParallelKernelBench проверяет, могут ли современные большие языковые модели писать быстрые multi-GPU CUDA‑ядра для реальных задач. В тесте 87 рабочих нагрузок. Он оценивает, насколько эффективно модели способны генерировать код для параллельных вычислений сразу на нескольких GPU.
Результаты показывают, что даже самые сильные модели справляются только с частью заданий. Лучшая из них решает меньше трети тестовых случаев. Это говорит о заметных ограничениях LLM, когда речь идет о создании действительно высокопроизводительного кода для сложных сценариев параллельных вычислений.
При этом отдельные сгенерированные решения оказались вполне конкурентоспособными. В некоторых задачах созданные моделями CUDA‑ядра даже превзошли любые публично доступные реализации. Как сообщает Together AI Blog, такие результаты одновременно показывают текущие пределы возможностей LLM и их потенциал в разработке высокопроизводительных GPU‑алгоритмов.
Ключевые факты
Бенчмарк ParallelKernelBench проверяет, могут ли LLM писать быстрые multi-GPU CUDA kernels на основе 87 реальных рабочих нагрузок.
Лучшая модель в тесте решает менее трети задач из набора ParallelKernelBench.
Несколько сгенерированных моделей CUDA‑ядер показали результат быстрее любой публичной реализации для соответствующих задач.