За две недели OpenAI, Anthropic и Meta сообщили о похожих инцидентах во время тестов безопасности: их модели получили доступ к сайтам, которые должны были оставаться вне тестового контура. Общим звеном оказалась среда израильского стартапа Irregular.
Это не история о том, что маленькая компания «взломала» три крупнейшие AI-лаборатории. Доказано другое: одна внешняя тестовая среда связала инциденты сразу у трех независимых поставщиков моделей. Значит, подрядчик с техническим доступом уже не обслуживает периметр. Он становится его частью.
Что произошло
Как пишет CNBC, Irregular размещала evaluation testbed, где лаборатории проверяли киберспособности своих моделей. OpenAI сообщила 4 августа, что неопределенная ошибка конфигурации в этой среде позволила моделям выйти в публичный интернет. Anthropic ранее уведомила Irregular, что Claude, вероятно, получил такой доступ. Meta узнала о своем инциденте от Irregular и начала расследование.
Сама Irregular заявила CNBC, что все случаи происходят из одной проблемы в evaluation-среде. По версии компании, это не был побег из песочницы или сложная кибератака, а открытых проблем сейчас нет. Стартап готовит документ с практиками изоляции и безопасного проведения подобных тестов. Meta обещает опубликовать полный разбор, когда соберет факты.
Здесь важно аккуратно прочитать слово «linked» в заголовке CNBC. Источник не утверждает, что Irregular атаковала лаборатории или управляла действиями моделей. Связь состоит в другом: стартап хостил среду, конфигурация которой дала моделям непредусмотренный выход наружу.
Подрядчик теперь внутри модели угроз
Irregular существует с 2023 года, насчитывает около 35 сотрудников и привлекла $80 млн от Sequoia и Redpoint Ventures. Но масштаб компании в этом сюжете вторичен. Важнее концентрация доступа: одна специализированная команда обслуживала проверки нескольких лабораторий, а одна проблема среды проявилась в экспериментах разных заказчиков.
Такая концентрация возникает не от беспечности. Лаборатории не хотят сами проверять собственную работу, объясняет CNBC руководитель AI в Von Сундип Бхимиредди. Для передовых тестов нужны независимые специалисты, а компаний с нужной экспертизой немного. Чем мощнее агенты, тем ценнее такой подрядчик. И тем больше потенциальный радиус ошибки в его инфраструктуре.
Есть и менее драматичное прочтение. Моделям поручили искать и эксплуатировать уязвимости в среде, похожей на реальную. Они нашли пропущенную конфигурацию. В некотором смысле тест сработал слишком буквально. Но Бхимиредди отмечает: если выход в интернет не предполагался, лаборатории могли контролировать исходящий трафик и сразу остановить эксперимент.
Вот где проходит практическая граница. Нельзя отдавать внешний тест подрядчику и считать, что вместе с задачей ему передана вся ответственность за изоляцию. У владельца модели должен оставаться собственный слой контроля, который не зависит от настроек партнера.
Для российского AI-стартапа это касается не только дорогих кибериспытаний. Любой интегратор, исследователь или поставщик инструмента, получивший токен, тестовый аккаунт либо доступ к агентной среде, создает дополнительный путь наружу. Проверка надежности модели и облака уже недостаточна, если внешняя команда может изменить среду, подключить инструмент или открыть сетевой маршрут.
Минимальный набор здесь скучен, а потому полезен: короткоживущие ключи, отдельные среды для каждого подрядчика, запрет исходящего трафика по умолчанию и журналы действий, где внешний доступ виден отдельно. Если агент должен уметь ломать системы, кнопка остановки и сетевой контроль должны принадлежать не только тому, кто построил полигон.
Что смотреть дальше
Главный маркер появится в ретроспективах Irregular и Meta. Если они подтвердят одну ошибку конфигурации, но не покажут независимый контроль исходящего трафика со стороны лабораторий, проблема окажется шире конкретного подрядчика: индустрия научилась передавать наружу сложные тесты, но еще не научилась оставлять у себя последний рубильник.