Исследователь описал способ утечки персональных данных из памяти Claude

Специалист по безопасности Ayush Paul 9 июля опубликовал описание атаки на Claude, при которой модель могла без ведома пользователя отправлять сохранённые персональные данные на внешний сайт. Речь о сведениях, которые ассистент хранит в механизмах памяти: имени, месте работы, происхождении, рабочей информации и личных проблемах.

Как сообщает IT Home, Claude использует два механизма памяти. Первый создаёт ежедневные сводки недавних диалогов и добавляет их в последующие сессии. Второй, conversation_search, позволяет искать информацию по полной истории общения. По словам исследователя, во время тестирования модель без дополнительных запросов передавала имя пользователя, компанию и родной город. В примере журнала были строки «Name: Ayush Paul», «Company: Beem» и «Hometown: Charlotte, NC».

Paul утверждает, что атака работала в сценарии, где вредоносный URL смешивался с настоящим адресом кафе, а Claude предлагалось сравнить ссылки. В результате модель кодировала имя пользователя в URL без запроса разрешения. Исследователь добавил, что при дальнейшем воздействии могли передаваться и текущий работодатель, и город происхождения, который иногда используют для проверки личности в банках.

О проблеме исследователь сообщил через программу HackerOne компании Anthropic. В публикации говорится, что внутри компании о проблеме уже знали, но на момент отправки отчёта исправление ещё не было готово, а вознаграждение исследователь не получил. Позже Anthropic отключила возможность web_fetch переходить по ссылкам на внешних страницах.