Исследователи представили SkillCoach для оценки того, как ИИ-агенты используют навыки

Исследователи представили фреймворк SkillCoach для оценки и улучшения работы LLM-агентов с наборами навыков. В этой работе навыки рассматриваются как повторно используемый операционный слой. В него могут входить SOPs, доменные правила, сценарии работы с инструментами, скрипты и процедуры проверки.

Авторы пишут, что в реальных репозиториях навыков нередко встречаются пересекающиеся или похожие функции. Из-за этого агентам становится сложнее правильно выбирать и комбинировать нужные действия. В статье также отмечается: итоговая успешность через внешний verifier не всегда отражает качество самого процесса. Агент может получить правильный результат методом проб и ошибок, задействовать отвлекающие навыки, пропускать обязательные шаги или некорректно собирать рабочий процесс.

Как сообщает arXiv cs.AI (Artificial Intelligence), SkillCoach формирует process rubrics на основе реальных rollouts и оценивает траектории по четырём направлениям: выбор навыков, следование навыкам, композиция навыков и skill-grounded reflection. Внешний verifier при этом остаётся отдельным сигналом результата. Это позволяет отделять качество процесса от случайного успеха задачи. Авторы утверждают, что evolving rubrics помогают улучшать качество оценки, находить ошибки, скрытые за финальной accuracy, и использовать более качественные траектории для обучения.