Towards Data Science предложил оценивать конфигурации ИИ-агентов через сравнение лучших и худших ответов

Разработчикам ИИ-агентов предложили не оценивать конфигурации только по среднему баллу качества. Как пишет Towards Data Science, более полезную картину дают прямые сравнения ответов между разными конфигурациями агента с последующим расчетом utility-оценок через модели вроде Plackett-Luce или MaxDiff.

В материале описан подход, при котором несколько конфигураций агента запускают на одном и том же наборе задач. Система оценки при этом выбирает только лучший и худший результат среди ответов. После этого ranking-модель рассчитывает utility-оценки для каждой комбинации модели, промпта и инструмента. Автор считает, что такой способ позволяет увидеть взаимодействия между компонентами агента, которые не заметны при сравнении одних средних метрик.

В качестве примера использовали пайплайн для извлечения JSON-данных из изображений счетов. Эксперимент проводили на датасете shubh303/Invoice-to-Json из HuggingFace: 100 документов, 5 выбранных конфигураций на документ и 499 production-запусков после исключения одного невалидного. Из них 488 соответствовали требованиям схемы. Пространство конфигураций строилось на трех бинарных факторах, в итоге получилось восемь различных пайплайнов.

Автор также отмечает, что метод можно встроить в agent-first workflow. Агент способен самостоятельно генерировать конфигурации, запускать сравнения и предлагать следующие варианты для тестирования. Финальное решение о значимости результатов при этом остается за человеком.