EGG: фреймворк агентной генерации GPU‑ядер с экспертными подсказками

Высокопроизводительные GPU‑ядра заметно снижают вычислительные затраты при работе больших языковых моделей. При этом их разработка по‑прежнему во многом опирается на ручную настройку со стороны специалистов. Попытки автоматизировать создание таких ядер с помощью LLM уже предпринимались, однако системам трудно одновременно сохранять корректность и добиваться высокой производительности. Авторы отмечают одну из причин: отсутствие специализированных рекомендаций по оптимизации, из‑за чего сложно эффективно исследовать пространство возможных решений.

Как сообщает arXiv cs.AI (Artificial Intelligence), в работе предложен фреймворк EGG (Expert‑Guided Agent Framework for Kernel Generation). Он использует принципы экспертной оптимизации, чтобы направлять решения LLM. Подход опирается на практики, которыми пользуются специалисты, и переносит их в формализованный процесс автоматической генерации.

В EGG создание ядра разделено на два иерархических этапа. Сначала проектируется алгоритмическая структура, она задаёт качественную основу будущих вычислений. Затем следует аппаратно‑специфическая настройка: выполняется параллельное отображение вычислений, применяется tensor tiling и оптимизируется работа с памятью. Такое поэтапное разделение задаёт понятные цели оптимизации и упорядочивает пространство проектирования, позволяя постепенно улучшать получаемые решения.