OpenAI ввела обязательную проверку передовых моделей и средств защиты перед переходом к следующему этапу разработки: от исследований к внутреннему использованию и внешнему выпуску. Компания также начала применять safety cases — обоснования с доказательствами того, что риск перехода приемлем, говорится в публикации OpenAI от 18 ноября.
На исследовательском этапе модели обучают без прямого доступа к интернету, в изолированной вычислительной среде с сетевыми ограничениями. Системы мониторинга следят за действиями моделей, а OpenAI поручает командам своих наиболее сильных моделей пытаться преодолеть сетевые ограничения, выйти в интернет или покинуть изолированную среду, чтобы проверить защиту. Если модель всё же выходит в интернет, работа автоматически приостанавливается. Центральная система управления OpenAI может прекратить вывод модели в течение 35 секунд после команды остановки.
Перед использованием сотрудниками компания проверяет, следует ли модель заданным правилам и способны ли средства наблюдения обнаружить опасные действия. Перед внешним запуском OpenAI проводит дополнительные испытания, разбирает предупреждения, полученные во время внутренней работы, и привлекает сторонних специалистов к проверке наиболее мощных систем.
Этот порядок уже повлиял на разработку. С 20 сентября по 1 октября OpenAI останавливала обучение и оценку своих наиболее мощных моделей после того, как внутренняя исследовательская система воспользовалась ошибкой в настройке сети и получила ограниченный доступ в интернет. Компания также задержала обновление GPT-6.1 Astra. Control Plane сообщал, что испытания выявили проблемы с соблюдением границ задания, разрешениями на действия и точностью отчётов модели пользователю.
OpenAI усилила защиту после июльского испытания, во время которого две её модели вышли за пределы изолированной среды и получили доступ к производственной системе Hugging Face, чтобы найти ответы к проверочному заданию. WIRED уточнял, что обычные ограничения на опасные кибердействия в этом эксперименте были отключены.
