Исследователи представили framework для оценки LLM в задачах финансовых сервисов. По их мнению, публичные лидерборды плохо отражают требования реальной банковской работы. Авторы пишут, что модель с высокими результатами на MMLU-Pro может уступать при проверке compliance-документов, а сильная coding-модель хуже справляться с многошаговым общением с клиентами.
Как пишет arXiv cs.AI (Artificial Intelligence), новая система объединяет 452 публичных бенчмарка в 41 категорию O*NET Generalized Work Activities. Затем их связывают с 38 банковскими доменами BIAN, среди которых продажи, операции, риск и поддержка. Для расчёта используется схема весов, которая учитывает различимость результатов, охват и актуальность тестов в рамках rolling model window.
Авторы также применили pairwise Elo tournament с масштабированием K-factor. Это позволяет получать сопоставимые между бенчмарками оценки без нормализации исходных результатов. Framework протестировали на публичном срезе из 288 моделей от 25 организаций.
Ключевые факты
Framework объединяет 452 публичных бенчмарка в 41 категорию O*NET Generalized Work Activities
Система агрегирует оценки в 38 банковских доменов BIAN, включая продажи, операции, риск и поддержку
Схема весов учитывает discrimination, coverage и recency бенчмарков в rolling model window
Авторы протестировали подход на публичном наборе из 288 моделей и 25 организаций