Исследователь провёл открытый эксперимент: 55 языковых моделей из 11 семейств оценивали ответы друг друга в «слепом» режиме. В каждой сессии несколько моделей отвечали на один и тот же запрос, после чего другие модели выставляли оценки по шкале от 0 до 10. Свои собственные ответы модель не оценивала. Всего прошло 286 оценочных запусков по 198 вручную составленным вопросам, в итоге получилось 22 254 валидных суждения. Как сообщает r/LocalLLaMA (Reddit), код, датасет и все промпты эксперимента выложены под лицензией MIT.
Разбор результатов выявил статистически значимую предвзятость внутри семейств моделей: системы заметно чаще ставят более высокие оценки «родственным» моделям. По данным автора, у Qwen средний бонус для моделей того же семейства составляет около +0,91 балла. Похожие эффекты обнаружены у xAI (+0,75), Anthropic (+0,62), MiniMax (+0,31) и OpenAI (+0,23). При этом некоторые семейства, наоборот, получают более низкие оценки: Google −0,59 и Meta* −0,68.
Самый необычный результат связан с Mistral. Модели этого семейства, напротив, систематически занижают оценки другим Mistral примерно на −1,02 балла. Это крупнейшее по модулю смещение во всём наборе данных. Автор пишет, что однозначного объяснения у него нет. Среди возможных причин он упоминает особенности обучающих данных, данные предпочтений для RLHF и стилистическое «самоштрафование».
Эксперимент показал и другую вещь: агрегированные лидерборды могут сглаживать реальные различия. В девяти тематических пулах первое место занимали шесть разных моделей. Кроме того, наибольшее расхождение между судьями возникало в задачах по программированию, почти вдвое больше, чем в категории meta‑alignment. По словам автора, это делает оценки кода одним «судьёй» особенно ненадёжными.
Ключевые факты
В эксперименте участвовали 55 моделей из 11 семейств; получено 22 254 валидных оценки по 198 вопросам в 286 запусках.
Во всех 8 семействах с достаточным объёмом данных обнаружена статистически значимая внутрисемейная предвзятость (p < 0,05; 7 из 8 проходят поправку Bonferroni).
Модели Qwen в среднем ставили моделям того же семейства на +0,91 балла больше по шкале 0–10.
Модели Mistral, напротив, занижали оценки своим «родственным» моделям примерно на −1,02 балла, крупнейшее смещение в наборе.