Эксперимент с 55 LLM показал систематическую предвзятость моделей к «родственным» системам

Исследователь провёл открытый эксперимент: 55 языковых моделей из 11 семейств оценивали ответы друг друга в «слепом» режиме. В каждой сессии несколько моделей отвечали на один и тот же запрос, после чего другие модели выставляли оценки по шкале от 0 до 10. Свои собственные ответы модель не оценивала. Всего прошло 286 оценочных запусков по 198 вручную составленным вопросам, в итоге получилось 22 254 валидных суждения. Как сообщает r/LocalLLaMA (Reddit), код, датасет и все промпты эксперимента выложены под лицензией MIT.

Разбор результатов выявил статистически значимую предвзятость внутри семейств моделей: системы заметно чаще ставят более высокие оценки «родственным» моделям. По данным автора, у Qwen средний бонус для моделей того же семейства составляет около +0,91 балла. Похожие эффекты обнаружены у xAI (+0,75), Anthropic (+0,62), MiniMax (+0,31) и OpenAI (+0,23). При этом некоторые семейства, наоборот, получают более низкие оценки: Google −0,59 и Meta (деятельность Meta признана экстремистской и запрещена в РФ) −0,68.

Самый необычный результат связан с Mistral. Модели этого семейства, напротив, систематически занижают оценки другим Mistral примерно на −1,02 балла. Это крупнейшее по модулю смещение во всём наборе данных. Автор пишет, что однозначного объяснения у него нет. Среди возможных причин он упоминает особенности обучающих данных, данные предпочтений для RLHF и стилистическое «самоштрафование».

Эксперимент показал и другую вещь: агрегированные лидерборды могут сглаживать реальные различия. В девяти тематических пулах первое место занимали шесть разных моделей. Кроме того, наибольшее расхождение между судьями возникало в задачах по программированию, почти вдвое больше, чем в категории meta‑alignment. По словам автора, это делает оценки кода одним «судьёй» особенно ненадёжными.