LLM-as-a-Judge, это подход, в котором одна языковая модель оценивает ответы другой по заранее заданным критериям. Как пишет Towards AI, такую схему используют для проверки качества чат-ботов, переводов, саммари, генерации кода и другого контента, когда объём проверок слишком большой для ручной модерации.
В материале описаны четыре основных режима оценки: выставление баллов по шкале, бинарная проверка «да/нет», попарное сравнение двух ответов и классификация по категориям. В качестве примера приводится служба поддержки. Там модель анализирует ответ на вопрос о сбросе пароля, оценивает его по полезности, точности и ясности, после чего формирует итоговый результат.
Авторы отмечают, что LLM-судьи не способны полностью заменить людей и могут быть подвержены смещениям. Чтобы повысить надёжность таких проверок, предлагается использовать подробные рубрики оценки, просить модель объяснять ход рассуждений, сравнивать результаты нескольких моделей и дополнительно проверять их на выборках, размеченных людьми.
Ключевые факты
В материале говорится, что автоматические LLM-оценщики могут обрабатывать до 16 тыс. ответов в секунду.
Для проверки качества предлагаются четыре режима: scoring, binary, pairwise comparison и multi-choice classification.
Авторы рекомендуют сверять работу модели-оценщика с выборками из более чем 200 человеческих оценок.
В примере оценки саппорт-ответа модель выставила итоговую оценку 4,7 из 5 по критериям полезности, точности и ясности.