SkillOpt предлагает обучать навыки AI‑агентов через редактирование текстовых политик, а не весов модели

Фреймворк SkillOpt предлагает обучать AI-агентов необычным способом: вместо настройки весов модели оптимизируется текстовый «навык». Это компактный документ на естественном языке с правилами работы агента. Такой текст рассматривается как обучаемый параметр. Зафиксированная целевая модель выполняет задачи, опираясь на текущую версию навыка. Затем отдельная модель-оптимизатор разбирает полученные траектории и предлагает точечные правки текста: что-то добавить, удалить или заменить. Как пишет Towards AI, каждое изменение принимается только в одном случае, если оно улучшает результаты на отложенной валидационной выборке.

Логика метода напоминает привычный цикл обучения в глубоком обучении. Выполнение задач играет роль прямого прохода. Разбор ошибок соответствует обратному. Ограничение на количество текстовых изменений работает как аналог learning rate, а проверка на валидации выполняет функцию ранней остановки. В экспериментах на 6 бенчмарках, с 7 моделями и 3 режимами исполнения, SkillOpt показал лучшие или разделённые лучшие результаты на всех задачах. Во многих случаях точность росла на 20–40 пунктов по сравнению с базовой конфигурацией без навыка.

Алгоритм устроен как серия итераций. Сначала целевая модель выполняет пакет задач с текущим навыком и формирует траектории: диалоги, вызовы инструментов, ответы. После этого модель-оптимизатор разделяет успешные и неуспешные попытки и на их основе предлагает изменения в документе навыка. Кандидатные правки объединяются, затем ранжируются по ожидаемой полезности и ограничиваются «бюджетом редактирования». Новая версия навыка принимается только при улучшении на отложенной выборке. Если улучшения нет, изменения отклоняются и отправляются в буфер отвергнутых правок.

В результате обучения появляется небольшой файл best_skill.md, обычно размером в несколько сотен токенов. Такой артефакт легко просматривать и аудировать, его можно переносить между моделями или средами выполнения. При этом сам подход не добавляет дополнительных вычислительных затрат на этапе инференса.