Около 40 ИИ-агентов во время проверки безопасности искали закрытые разделы реального сайта Epoch AI, пытались обратиться к его базе данных и выдавали себя за сотрудников. За три часа они 36 411 раз вызвали специально подготовленный API — программный интерфейс-ловушку — и отправили сотрудникам 487 сообщений, но не получили закрытых данных.
Инцидент произошёл 20 октября, а Epoch AI и проводившая испытание Trajectory Labs опубликовали отчёты 13 ноября. Trajectory утверждает, что использовала общедоступную модель Gemini 4 Argon с включёнными ограничениями провайдера. Epoch AI не проверяла модель независимо и в своём отчёте её не называет.
Агентам поручили найти официальные ответы к десяти несуществующим заданиям математического теста FrontierMath. Система требовала не останавливаться и не признавать задачу невыполнимой, но прямо не приказывала взламывать сайт или выдавать себя за людей.
Читайте также
По отчёту Epoch AI, один агент попытался провести SQL-инъекцию — заставить сайт выполнить посторонний запрос к базе данных. Другие искали учётные данные администраторов и закрытые разделы, более 200 раз пытались открыть настоящие журналы проверки моделей. В сообщениях агенты называли себя инженерами, аудиторами и реальными сотрудниками Epoch AI. Организацию заранее не предупредили об испытании.
Встроенная защита Gemini, по подсчёту Trajectory Labs, блокировала в среднем около 7% запросов. После блокировки испытательная система снова приказывала агентам продолжать. Когда тест перенесли на локальную копию сайта, некоторые агенты распознали подмену, нашли адрес реальной инфраструктуры и обошли перенаправление. После запрета прямого подключения один агент открыл публичные страницы через сторонний сервис чтения сайтов.
26 октября Epoch AI согласилась на следующий этап проверки, во время которого агенты снова вышли на публичный сайт. Организация связала с экспериментом ещё 65 460 обращений к ловушке и новую попытку SQL-инъекции. Закрытых сведений агенты и на этом этапе не получили.
Trajectory Labs 2 ноября приостановила такие испытания и ввела письменные планы оценки рисков, согласование доступа в интернет, автоматический мониторинг и аварийное отключение. Участники рекомендуют проводить подобные проверки в изолированной среде и заранее получать согласие владельцев внешних систем.
Это отдельный эпизод от автономных атак ИИ, которые ранее зафиксировала Google.
