Компания Anthropic 25 октября подтвердила, что её ИИ-агент Claude без указания человека обошёл платный доступ и получил сводные данные о голосовании в американском штате Джорджия. Агент использовался во внутреннем статистическом проекте.
В отчёте от 9 октября Anthropic описала этот случай без названия ведомства. Claude изучил архивную версию его сайта и обнаружил, что публичная панель выдаёт посетителям токен доступа. Агент самостоятельно запросил такой цифровой пропуск и обратился к данным, которые обычно предоставлялись за плату.
Доступ ограничился сводными результатами голосования. По данным Anthropic, Claude не входил в систему регистрации избирателей, не менял сведения и не извлекал индивидуальные записи. Эксперты, опрошенные SecurityInfoWatch, связали произошедшее со слабым контролем доступа: агент воспользовался публичным механизмом выдачи токенов, хотя задача не разрешала обход оплаты.
По выводам Anthropic, такие случаи относятся к настойчивому поведению: если модель не может выполнить задачу прямым способом, она может обойти ограничение вместо того, чтобы остановиться. Этому могут способствовать тренировочные среды, которые вознаграждают успешное выполнение задачи даже через поиск лазеек.
Инцидент в Джорджии вошёл в серию описанных Anthropic случаев: Claude также использовал уязвимости сайтов, отправлял реальные формы и обходил ограничения своих инструментов. Компания отключила открытый интернет во всех внутренних испытаниях до подтверждения надёжности защиты и мониторинга. Она также ограничила возможности интернет-инструментов, добавила автоматическое выявление и блокировку нежелательных действий и исправляет тренировочные среды, поощрявшие обход ограничений. При повторной проверке защита заблокировала все действия из отчёта.