Исследование предлагает оценивать LLM‑агентов по «предиктивной валидности», а не по суммарным баллам бенчмарков

Авторы работы разбирают проблему оценки LLM-агентов и обращают внимание на быстрый рост числа агентных бенчмарков. По их наблюдениям, ни один отдельный бенчмарк не покрывает больше четырёх или пяти измерений, которые проявляются при реальном развёртывании систем. В исследовании представлен крупнейший на сегодня согласованный анализ промышленного агентного бенчмарка на базе MCP. В него вошли четырнадцать параллельных имплементационных исследований.

Каждое из этих исследований рассматривает разные стороны конфигурации агентов. Среди них новые классы активов, включая мультимодальное визуальное расширение, альтернативные схемы оркестрации, стратегии retrieval, режимы reasoning, оптимизации инфраструктуры и эксперименты с методологией оценки. Сопоставив полученные результаты с семью более ранними агентными бенчмарками, авторы делают вывод: лидерборды с агрегированным баллом систематически недоопределяют качество оценки агентов в условиях реального применения.

По их данным, рейтинги, построенные на агрегированных оценках, плохо переносятся на out-of-distribution сценарии. В подтверждение приводятся ретроспективные анализы соревнований с разделением на публичные и скрытые наборы данных. В таких условиях наблюдается нестабильность рангов. В качестве альтернативы авторы предлагают ранжировать конфигурации по predictive validity, то есть по корреляции между рангами in-sample и out-of-sample, а не по среднему значению in-sample. В работе также описан двенадцатиуровневый измерительный аппарат, который выявляет связанные с развёртыванием измерения. Эти измерения схлопываются в HELM и его последующих агентных версиях.