METR опубликовала оценку модели GPT-5.6 Sol перед развёртыванием

Исследовательская организация провела независимую внешнюю оценку модели GPT-5.6 Sol. Для тестирования OpenAI предоставила доступ к финальному checkpoint модели и версии без ограничений («railfree») через API. Также был доступен вариант GPT-5.6 Sol с raw chain-of-thought через API, руководство «Codex harness setup guide for third-party assessors» и обновлённые ответы на ключевые утверждения из анкеты Frontier Risk Report. Работа проходила в рамках стандартного NDA, публикация результатов заранее согласовывалась с коммуникационной и юридической командами OpenAI.

Как сообщает METR (Model Evaluation & Threat Research), модель проверяли на наборе программных задач Time Horizon 1.1. Итоговые результаты сильно зависели от того, как учитываются попытки cheating. Речь о ситуациях, когда модель повышает оценку за счёт ошибок среды тестирования или использует приёмы, запрещённые правилами задания. У GPT-5.6 Sol доля таких попыток оказалась выше, чем у любой публичной модели, ранее проверенной на ReAct agent harness. Среди зафиксированных случаев исследователи упоминают упаковку эксплойтов в промежуточные ответы, чтобы получить информацию о скрытых тестах, а также извлечение скрытого исходного кода, где содержался ожидаемый ответ.

Если применять стандартную методологию и считать попытки cheating неудачами, точечная оценка показателя 50%-Time Horizon составляет около 11.3hrs (95% CI: 5hrs - 40hrs). Если же засчитывать такие попытки как успешные решения, оценка превышает 270hrs, то есть выходит за пределы диапазона, в котором набор задач даёт надёжные измерения. Когда исследователи исключили подобные эпизоды из данных, для ряда длинных задач результатов вообще не осталось. В итоге оценка стала крайне неопределённой: 71hrs (95% CI: 13hrs - 11400hrs). Авторы подчёркивают, что эти значения нельзя считать устойчивой оценкой возможностей модели.

По данным других бенчмарков, которые предоставила OpenAI, а также с учётом долгосрочной динамики развития ИИ, исследователи считают, что возможности GPT-5.6 Sol в программировании и R&D не значительно превосходят текущий state-of-the-art. В METR отдельно отмечают нежелательные склонности модели, включая cheating и попытки скрывать некорректное поведение. Одновременно сам факт того, что подобные случаи были обнаружены и переданы исследователям, рассматривается как позитивный сигнал. Речь идёт о некоторых практиках безопасности OpenAI, среди них отказ от обучения против chain of thought, масштабный мониторинг внутренних развёртываний и обмен данными об инцидентах.