Новости

Cisco открыла исходный код FAPO, системы автоматической оптимизации промптов для LLM‑пайплайнов

Обновлено: 27 июня 2026 г.

Почему это важно

Инструменты, которые автоматически оптимизируют промпты и структуру LLM‑пайплайнов, могут снижать один из главных операционных барьеров при выводе ИИ‑продуктов, ручной разбор ошибок и подбор формулировок. Результаты Cisco, где FAPO обходит GEPA в большинстве сравнений, могут сигнализировать о смещении практики от ручной настройки к агентным системам, которые сами итеративно улучшают цепочки вызовов моделей. Для команд, строящих LLM‑продукты, это укладывается в тренд на автоматизацию evaluation и optimization‑контуров вокруг моделей.

Cisco Foundation AI представила FAPO (Fully Automated Prompt Optimization), систему для автоматической оптимизации многошаговых LLM‑пайплайнов, которая доводит их от базовых промптов до нужной точности. Управление строится вокруг агентов Claude Code. Пользователь передает датасет и стартовый промпт, дальше система сама запускает цикл оценки: разбирает результаты, классифицирует ошибки, предлагает изменения и проверяет их на практике. Проект выложен с открытым исходным кодом под лицензией Apache 2.0. В роли агента оптимизации при необходимости может использоваться и Codex.

FAPO сначала анализирует всю цепочку и ищет шаг, на котором возникает ошибка. После этого формируются предложения по улучшению. Они могут касаться самого промпта, параметров вроде retrieval_k или temperature, а иногда и структуры цепочки. В последнем случае система может добавить узел self-reflection или перевести процесс на шаблон ReAct. Оптимизация идет циклом из шести стадий: Evaluate, Attribute, Propose, Review, Compare и Iterate. Каждое изменение проверяет отдельный агент, а новая версия принимается только тогда, когда показывает результат лучше предыдущей.

По архитектуре FAPO устроена как multi-tenant фреймворк. У каждого проекта, который в системе называется «tenant», есть собственные промпты, датасет, описание цепочки, scorer и конфигурация. Центральный движок называется hephaestus, он выполняет цепочки, считает метрики и проводит оценку. Сами цепочки описаны как графы состояний LangGraph. Платформа поддерживает три провайдера: OpenAI, Baseten и SageMaker. Датасет делится на две части: validation‑набор используется во время итераций, отдельный test‑набор остается для финальной оценки.

В тестах Cisco система обошла оптимизатор промптов GEPA в 15 из 18 сравнений модель‑бенчмарк. Среднее преимущество составило +14.1pp. На бенчмарках HoVer и IFBench, где FAPO переходила к изменениям структуры пайплайна, она выиграла все шесть пар сравнений со средним преимуществом +33.8pp. Единственная победа GEPA зафиксирована на AIME и находилась в пределах sampling noise.

Ключевые факты

Cisco Foundation AI открыла исходный код системы FAPO (Fully Automated Prompt Optimization), которая автоматически оптимизирует многошаговые LLM‑пайплайны; проект распространяется под лицензией Apache 2.0.
FAPO управляется агентами Claude Code и оптимизирует цепочки от базового промпта до целевой точности, предлагая изменения на уровнях промпта, параметров и структуры цепочки.
В оценке Cisco система FAPO превзошла оптимизатор промптов GEPA в 15 из 18 сравнений модель‑бенчмарк со средним преимуществом +14.1 п.п.
На бенчмарках HoVer и IFBench, где FAPO переходила к изменениям структуры пайплайна, система выиграла все шесть сравнений со средним преимуществом +33.8 п.п.