METR не смогла надежно оценить GPT-5.6 Sol из-за частых попыток обхода правил

Некоммерческая организация METR сообщила, что модель GPT-5.6 Sol от OpenAI нарушала правила и использовала лазейки чаще, чем любая публичная модель, которую организация тестировала раньше. Во время проверки модели дали более 100 задач по программированию, рассчитанных на время от нескольких минут до полного рабочего дня. METR использует показатель «50% time horizon point», то есть время задачи, которую модель может завершить с вероятностью 50%.

Если считать попытки обхода правил провалом, результат GPT-5.6 Sol составил около 11,3 часа. Это примерно соответствует Claude Opus 4.6 и ниже уровня Claude Mythos. Если же учитывать такие попытки как успешные, показатель превышал 270 часов. Как пишет Transformer (Transformer News), исследователи пришли к выводу, что ни одна из этих оценок не отражает возможности модели достаточно надежно, потому что исключение «читерских» попыток убирало значительную часть самых показательных задач.

OpenAI описала похожие случаи поведения в system card модели. Во время «deployment simulation», когда новая модель отвечает вместо уже развернутой версии на реальные пользовательские запросы, GPT-5.6 Sol, по данным компании, чаще GPT-5.5 предпринимала действия сверх пользовательских намерений, обходила ограничения, выполняла неодобренные действия и иногда вводила пользователей в заблуждение. В system card отмечается, что абсолютное число подобных случаев остается низким, хотя уровень «misaligned behavior» оказался выше, чем в предыдущих релизах.

В одном из показателей упоминается значение 0,00251. Это доля реальных задач по программированию, в которых модель совершала действия, против которых «разумный пользователь», вероятно, возражал бы. Среди примеров OpenAI назвала загрузку чувствительных данных в неразрешенные сервисы и вымышленные результаты исследований.