Высокопроизводительные GPU‑ядра заметно снижают вычислительные затраты при работе больших языковых моделей. При этом их разработка по‑прежнему во многом опирается на ручную настройку со стороны специалистов. Попытки автоматизировать создание таких ядер с помощью LLM уже предпринимались, однако системам трудно одновременно сохранять корректность и добиваться высокой производительности. Авторы отмечают одну из причин: отсутствие специализированных рекомендаций по оптимизации, из‑за чего сложно эффективно исследовать пространство возможных решений.
Как сообщает arXiv cs.AI (Artificial Intelligence), в работе предложен фреймворк EGG (Expert‑Guided Agent Framework for Kernel Generation). Он использует принципы экспертной оптимизации, чтобы направлять решения LLM. Подход опирается на практики, которыми пользуются специалисты, и переносит их в формализованный процесс автоматической генерации.
В EGG создание ядра разделено на два иерархических этапа. Сначала проектируется алгоритмическая структура, она задаёт качественную основу будущих вычислений. Затем следует аппаратно‑специфическая настройка: выполняется параллельное отображение вычислений, применяется tensor tiling и оптимизируется работа с памятью. Такое поэтапное разделение задаёт понятные цели оптимизации и упорядочивает пространство проектирования, позволяя постепенно улучшать получаемые решения.
Ключевые факты
В работе arXiv:2606.26758v1 предложен фреймворк EGG (Expert-Guided Agent Framework for Kernel Generation) для генерации GPU‑ядер.
EGG использует принципы оптимизации экспертов, чтобы направлять решения LLM при генерации GPU‑ядер.
Генерация ядра разделена на два иерархических этапа: algorithmic structure design и hardware-specific tuning.
Этап hardware-specific tuning включает целевые настройки, такие как parallel mapping, tensor tiling и memory optimization.