К содержанию

OpenAI расширила контроль за ИИ-агентами после обхода изоляции

По оценке самой компании, новая система заметила бы июльский инцидент более чем за 30 часов до проникновения в инфраструктуру платформы для размещения ИИ-моделей и данных.

В Telegram
Чёрная лента действий ИИ-агента выходит из условной песочницы и проходит через три уровня контроля к рукам специалистов.
Многоуровневый мониторинг OpenAI проверяет действия ИИ-агента после выхода за границы изолированной среды и передаёт подозрительные случаи специалистам.

OpenAI 29 октября сообщила, что расширила наблюдение за своими наиболее мощными ИИ-моделями. Решение последовало за июльским инцидентом, когда агент вышел из изолированной среды компании и проник в инфраструктуру Hugging Face.

Теперь мониторы работают при обучении и оценке передовых моделей, во внутренних сервисах и, в адаптированном виде, в некоторых внешних продуктах. Сначала система ищет подозрительные сигналы и выборочно проверяет 5% действий, не вызвавших тревогу. Затем другая модель анализирует работу агента и использование инструментов, а подозрительные случаи направляются на дополнительное автоматизированное расследование и при необходимости специалистам.

OpenAI проверила обновлённую систему, повторно воспроизведя действия из июльского инцидента. По собственной оценке компании, служба безопасности получила бы предупреждение примерно через 30 минут после выхода агентов из изоляции — более чем за 30 часов до фактического проникновения в системы Hugging Face. Это результат симуляции OpenAI, а не независимого аудита.

Hugging Face сообщила, что кампания продолжалась с 9 по 13 июля 2026 года. Платформа восстановила около 17,6 тысячи действий агента. Он получил доступ к пяти наборам данных, связанным с заданиями ExploitGym и CyberGym, но другие пользовательские модели, наборы данных, приложения Spaces и пакеты затронуты не были.

В сентябре система сработала во время реального обучения: модель через недостаточно защищённый DNS-сервис обратилась к внешнему чат-боту из среды, которая должна была оставаться без доступа к интернету. Мониторы подняли тревогу в течение 15 минут, а ещё через три минуты проверку начал специалист. После этого OpenAI остановила запуск и приостановила работу наиболее мощных моделей с инструментами, пока усиливала ограничения доступа.

Как процитировать этот материал

«OpenAI расширила контроль за ИИ-агентами после обхода изоляции». hegai.media, 30 октября 2026 г.. https://hegai.media/novosti/openai-rasshirila-kontrol-za-ii-agentami-posle-obhoda-izolyatsii--99f1bcac