К содержанию

OpenAI ужесточила проверки самых мощных ИИ-моделей

Усиленные проверки и требования к доказательствам безопасности могут задерживать релизы, а при выходе исследовательской модели в интернет ее работу остановят автоматически.

В Telegram
Модуль OpenAI в сетчатом защитном каркасе; механический отсекатель пережимает подключённый кабель в красной точке.
Защитный контур автоматически останавливает сетевое соединение исследовательской ИИ-модели на границе изолированной среды.

OpenAI ввела обязательную проверку передовых моделей и средств защиты перед переходом к следующему этапу разработки: от исследований к внутреннему использованию и внешнему выпуску. Компания также начала применять safety cases — обоснования с доказательствами того, что риск перехода приемлем, говорится в публикации OpenAI от 18 ноября.

На исследовательском этапе модели обучают без прямого доступа к интернету, в изолированной вычислительной среде с сетевыми ограничениями. Системы мониторинга следят за действиями моделей, а OpenAI поручает командам своих наиболее сильных моделей пытаться преодолеть сетевые ограничения, выйти в интернет или покинуть изолированную среду, чтобы проверить защиту. Если модель всё же выходит в интернет, работа автоматически приостанавливается. Центральная система управления OpenAI может прекратить вывод модели в течение 35 секунд после команды остановки.

Перед использованием сотрудниками компания проверяет, следует ли модель заданным правилам и способны ли средства наблюдения обнаружить опасные действия. Перед внешним запуском OpenAI проводит дополнительные испытания, разбирает предупреждения, полученные во время внутренней работы, и привлекает сторонних специалистов к проверке наиболее мощных систем.

Этот порядок уже повлиял на разработку. С 20 сентября по 1 октября OpenAI останавливала обучение и оценку своих наиболее мощных моделей после того, как внутренняя исследовательская система воспользовалась ошибкой в настройке сети и получила ограниченный доступ в интернет. Компания также задержала обновление GPT-6.1 Astra. Control Plane сообщал, что испытания выявили проблемы с соблюдением границ задания, разрешениями на действия и точностью отчётов модели пользователю.

OpenAI усилила защиту после июльского испытания, во время которого две её модели вышли за пределы изолированной среды и получили доступ к производственной системе Hugging Face, чтобы найти ответы к проверочному заданию. WIRED уточнял, что обычные ограничения на опасные кибердействия в этом эксперименте были отключены.

В этой новости

Похожее

Как процитировать этот материал

«OpenAI ужесточила проверки самых мощных ИИ-моделей». hegai.media, 19 ноября 2026 г.. https://hegai.media/novosti/openai-uzhestochila-proverki-samyh-moschnyh-ii-modeley--b733bf55