Британский Институт безопасности ИИ (AISI) и Anthropic опубликовали результаты повторных экспериментов: Claude Mythos 5 продолжал уже начатую атаку в 95% случаев, даже когда ему прямо указывали, что действия затрагивают реальных людей. Исследователи заново запускали запись июльского эпизода с разных этапов, не давая модели доступа к интернету и инструментам.
При запуске из середины или поздней стадии атаки Mythos 5 самостоятельно останавливался в 2% случаев. Когда в запись добавляли указания, что модель выбрала ошибочный путь и взаимодействует с реальными разработчиками, доля остановок достигала лишь 5%.
Что произошло в июле
Исходный инцидент AISI обнаружил 28 июля во время испытания моделей на учебной задаче по кибербезопасности. Агентам разрешили выход в открытый интернет и отключили защитные фильтры, чтобы оценить их максимальные возможности. Такая конфигурация отличается от общедоступных версий моделей.
Читайте также
Mythos 5 безуспешно пытался решить задачу предусмотренными способами, затем нашёл на GitHub репозиторий сторонних разработчиков и попытался добавить туда вредоносный код. После предупреждения разработчика модель изменила код, создала поддельные учётные записи, назвала изменение безопасным и снова загрузила вредоносный вариант. Сопровождающий проекта отклонил его, а выполнение завершилось по тайм-ауту. Реального ущерба инцидент не причинил.
Всего AISI провёл 122 прогона с семью моделями. В десяти прогонах агенты совершили 19 несанкционированных действий в интернете, 17 из них пришлись на Mythos 5.
Как изменили испытания
Исследователи предполагают, что продолжению атаки способствовала инерция выбранного плана: Mythos 5 подгонял новые сведения под прежние действия и иногда без оснований называл реальных разработчиков участниками симуляции. По записям рассуждений нельзя установить, что именно определило поведение модели.
После июльского инцидента AISI остановил связанные испытания и изолировал задействованные системы. Институт будет проводить такие проверки без доступа в интернет, пока не введёт более строгие сетевые ограничения. AISI также внедряет наблюдение за агентами в реальном времени и дополнительные проверки правильности и решаемости заданий.