Comet ML (Fully Connected / blog) рассказала о подходе Evaluation-Driven Development (EDD). Его суть в том, что каждое изменение AI-агента рассматривается как отдельный эксперимент с замерами до и после обновления. Метод нужен для поиска скрытых регрессий, которые не вызывают ошибок или жалоб пользователей, но при этом ухудшают работу системы.
В качестве примера приводится опыт Alejandro Aboy, senior data and AI engineer в Workpath. Он отмечает, что даже небольшие правки, например очистка системного промпта от лишних инструкций, могут неожиданно повлиять на поведение агента. В одном из случаев агент начал генерировать некорректные ID, хотя раньше справлялся с этой задачей правильно. Как говорится в материале, такие проблемы становятся заметны только при сравнении одинаковых тестов до и после изменений.
В основе EDD лежит процесс, где каждое обновление начинается с гипотезы, после чего проходит через симуляцию и оценку результатов. Разработчику нужно ответить на два вопроса: насколько хорошо работает новая функция и не вызвало ли изменение регрессии в существующей системе. В Workpath этот подход используют для Workpath AI Companion, AI-агента для работы со стратегией и OKR внутри крупных компаний.
Для оценки изменений применяется связка из нескольких компонентов: AI-приложение, система оценки и платформа наблюдаемости. В примере Workpath агент построен с использованием Agno, для запуска оценок используется headless evaluation harness на базе Claude Code, а хранение трассировок, датасетов и сравнение экспериментов выполняется через Opik.
Ключевые факты
EDD предлагает проверять каждое изменение AI-агента как отдельный эксперимент с замерами до и после обновления
Alejandro Aboy работает senior data and AI engineer в Workpath и отвечает за весь data stack компании
В Workpath метод применяется к Workpath AI Companion, агенту для работы со стратегией и OKR
Для оценки изменений используются Agno, Claude Code и платформа Opik