EuroExec показал отставание передовых LLM от экспертов в управленческих задачах
Как сообщает arXiv cs.AI (Artificial Intelligence), авторы представили EuroExec, бенчмарк из 413 открытых развёрнутых задач для европейских руководителей. Задания подготовили 47 проверенных профильных экспертов. Каждый вопрос основан на опыте реального случая.
Для оценки шести передовых LLM потребовалось более 4 000 часов работы экспертов. Ответы проверяли вручную по многоаспектной рубрике и индивидуальному списку требований, а затем включали в ранжирование предпочтений. Итоговые результаты свели в агрегированную метрику Solve Rate.
Лучший показатель среди моделей составил 56,9% решённых задач. Экспертные эталонные ответы при слепой оценке получили результат, близкий к максимальному. В 74% прямых сравнений их предпочли ответам всех моделей.
Авторы пришли к выводу, что такие системы пока заметно уступают профессиональному стандарту в задачах, для которых их уже применяют.
Ключевые факты
В EuroExec вошли 413 открытых развёрнутых задач, подготовленных 47 проверенными профильными экспертами.
Оценка шести передовых LLM потребовала более 4 000 часов работы экспертов.
Лучший результат модели составил 56,9% решённых задач.
Экспертные ответы предпочли ответам всех моделей в 74% прямых сравнений.
Вопросы и ответы
- Насколько бенчмарк похож на реальные задачи руководителей?
EuroExec включает 413 открытых развёрнутых задач для европейских руководителей, основанных на реальных случаях. Их подготовили 47 проверенных профильных экспертов.
- Как проверяли ответы моделей?
Шесть передовых LLM оценивали вручную по многоаспектной рубрике, индивидуальным требованиям и через сравнение предпочтений. На проверку ушло более 4 000 часов работы экспертов.
- Можно ли уже полагаться на LLM вместо профильного эксперта?
Результаты не подтверждают такую замену: лучшая модель решила 56,9% задач, а экспертные ответы предпочли модельным в 74% прямых сравнений.
Контекст по теме
- Исследователи связали выводы об ИИ-моделях с выбором метрик производительности2 июля 2026 г.
- Исследование предлагает оценивать LLM‑агентов по «предиктивной валидности», а не по суммарным баллам бенчмарков19 июня 2026 г.
- Исследование сравнило методы оценки неопределённости для LLM в режиме «чёрного ящика»19 июня 2026 г.
- Исследование arXiv: объём вычислений на этапе инференса влияет на результаты тестов для frontier LLM18 июня 2026 г.