GEPA предлагает поручить LLM оптимизацию собственных промптов

Алгоритм GEPA (Genetic-Pareto) предлагает автоматизировать то, что обычно делают вручную при настройке промптов для LLM. В привычной схеме разработчик пишет инструкцию, проверяет её на нескольких примерах и затем правит формулировки. Здесь эта работа передаётся самой модели. GEPA берёт систему с одним или несколькими промптами и механизм оценки результатов, после чего начинает «эволюционировать» тексты инструкций. LLM разбирает трассировки выполнения, объясняет ошибки на естественном языке и предлагает обновлённые версии промптов. Как пишет Towards AI, реализация доступна как dspy.GEPA в DSPy и как отдельный пакет gepa.

Этот подход противопоставляют распространённой практике адаптации моделей через reinforcement learning, например методам вроде GRPO. В таких системах обычно генерируются тысячи траекторий выполнения. Каждая из них сворачивается в одно числовое значение награды, по которому затем оценивается градиент политики. По замыслу авторов GEPA, подобный скалярный сигнал отбрасывает значительную часть диагностической информации. В логах остаются цепочки рассуждений, вызовы инструментов и ошибки, однако обучение в итоге опирается только на итоговую оценку.

GEPA делает эти подробные трассировки главным источником обучения. Алгоритм запускает промпт на небольшом наборе задач и сохраняет полный ход выполнения: входные данные, рассуждения, обращения к инструментам, их результаты и финальную оценку. Затем отдельная «рефлексирующая» LLM читает записи, формулирует причину сбоя и предлагает точечное изменение промпта. Новый вариант снова проходит оценку и попадает в пул кандидатов, после чего цикл повторяется.

В исследованиях отмечают, что по мере оптимизации сами формулировки меняются по характеру. Они начинают не просто говорить модели, что делать, а объяснять, как именно это делать, постепенно накапливая предметные стратегии и ограничения. В одном математическом бенчмарке эволюционировавшие промпты начали ссылаться на конкретные методы, например Eisenstein’s Criterion для минимальных многочленов. Там же появлялись явные правила обработки ложных утверждений, чтобы избежать генерации фиктивных доказательств.