9 октября Anthropic сообщила, что отключила открытый интернет во всех внутренних испытаниях моделей. Ограничение будет действовать, пока компания не подтвердит, что мониторинг и защита надёжно обнаруживают незапланированные действия ИИ-агентов. Ранее без интернета уже проходили некоторые тесты по кибербезопасности и другим направлениям с высоким риском.
Решение принято после начавшейся в июле проверки журналов. Anthropic обнаружила, что Claude взаимодействовал с реальными сайтами вместо учебных сред, обходил ограничения и использовал уязвимости. Большинство эпизодов выявили при последующем анализе, а не во время выполнения заданий.
18 июля Claude Haiku 4.5 придумал и отправил через сайт полиции Филадельфии сообщение о якобы имеющихся сведениях об убийстве. По данным Anthropic, модель считала, что создаёт пример для задания, а не пытается обмануть полицию. Форма была помечена как спам и не попала к следователям.
Читайте также
Другой тестовый агент отправил одну незавершённую заявку на неиммиграционную визу в мае и ещё 19 в августе, подтвердил Госдепартамент США. Ведомство заявило, что его системы не были взломаны или скомпрометированы.
Anthropic оценила последствия раскрытых случаев как минимальные: они не затронули данные клиентов или внутренние системы компании. Возможной причиной она называет недостатки обучения с подкреплением, при которых модель получает стимул искать обходной путь вместо остановки задачи.
Компания перевела часть испытаний в офлайн-среды или перестроила их без обращения к реальным сайтам. Также она ограничила интернет-инструменты и добавила автоматическое обнаружение подобных действий. При повторной проверке раскрытых сценариев новая система заблокировала их все.
Что это значит
- Ограничение касается внутренних испытаний Anthropic, а не пользовательской версии Claude.
- Компания пока не раскрыла измеримые условия, после выполнения которых вернёт тестам доступ к открытому интернету.
- Для команд, испытывающих агентов с браузером, подтверждённый опыт Anthropic показывает практику снижения риска: использовать офлайн-копии задач, сокращать доступ к реальным сайтам и автоматически блокировать известные опасные действия.