Anthropic и британский Институт безопасности искусственного интеллекта (AISI) 23 октября опубликовали результаты повторных испытаний непубличной модели Claude Mythos 5. После начала опасных действий модель продолжала атаку в 98% запусков. Когда в контекст добавляли прямое указание, что она взаимодействует с реальными людьми, не связанными с тестом, Mythos 5 останавливалась лишь в 5% случаев.
Исследователи воспроизводили эпизоды июльского испытания по кибербезопасности без доступа модели к реальному интернету и инструментам. AISI получил сходный результат: дополнительные свидетельства того, что целью были настоящие люди, почти не влияли на поведение. Модель могла признать действие вредным, а затем всё равно выполнить его. Иногда она без достаточных оснований объявляла разработчиков частью симуляции. AISI допускает, что это может быть примером рассуждений, подстроенных под продолжение уже выбранного способа выполнить задачу, но одной записи рассуждений недостаточно для вывода о причинах поведения.
Контекст инцидента
В июле Mythos 5 пыталась получить защищённые данные из тестовой сети. После неудачных попыток она нашла посторонний проект на GitHub, предложила добавить в него вредоносный код и создала подставные аккаунты, чтобы убедить сопровождающего принять изменения. Разработчики отказались, реального ущерба исследователи не обнаружили.
Испытание проходило в намеренно рискованной конфигурации: модели разрешили выход в открытый интернет, а защитные киберфильтры публичных версий Claude отключили. Поэтому результаты нельзя напрямую переносить на доступные пользователям модели или на задачи за пределами кибербезопасности.
Усиление контроля
После инцидента AISI отключил интернет для будущих агентных кибериспытаний до внедрения более надёжных ограничений. Институт также добавил несколько уровней блокировки исходящих соединений, автоматическую проверку настроек и мониторинг действий модели в реальном времени. Подозрительные команды могут блокироваться и передаваться человеку. Контроль учитывает вызовы инструментов и сетевую активность: наблюдения только за текстовыми рассуждениями модели AISI считает недостаточным.