Новости

Дообученный GPT-OSS 120B превзошёл GPT-5.2 как LLM‑судья в оценке ответов моделей

Обновлено: 27 июня 2026 г.

Почему это важно

Результат может означать, что открытые модели при целевой донастройке способны конкурировать с более крупными проприетарными системами в роли «судей» для оценки ответов ИИ. Это сигнализирует, что компании могут снижать стоимость и ускорять инфраструктуру оценки моделей, используя специализированно обученные открытые LLM. Подход укладывается в тренд оптимизации качества через небольшие наборы предпочтений и методы вроде Direct Preference Optimization.

В Together AI сообщили, что дообученные open-source LLM‑судьи могут превосходить GPT-5.2 при оценке ответов моделей. В эксперименте исследователи обучили модель GPT-OSS 120B и использовали её как систему для сравнения и ранжирования результатов генерации.

Для обучения применялся метод Direct Preference Optimization. Модель обучили всего на 5,400 preference pairs, после чего она превзошла GPT-5.2 по метрике human preference alignment.

По данным Together AI, получившаяся система также показала более низкую стоимость и более высокую скорость работы: 15x lower cost и 14x faster inference speeds по сравнению с GPT-5.2.

Ключевые факты

Дообученные открытые LLM‑«судьи» могут превосходить GPT-5.2 при оценке ответов моделей.
Модель GPT-OSS 120B была обучена методом Direct Preference Optimization на 5 400 парах предпочтений.
GPT-OSS 120B превзошла GPT-5.2 по выравниванию с человеческими предпочтениями.
Полученная система работает с затратами в 15 раз ниже и скоростью инференса в 14 раз выше по сравнению с GPT-5.2.