Исследователи описали атаку, отключающую защитные ограничения в AI-браузерах

Исследователи описали способ атаки на AI-браузеры, при котором модель можно перевести в «альтернативную реальность». В этом состоянии встроенные ограничения перестают работать, и система способна выполнять запрещённые действия, включая извлечение кода из приватного репозитория или получение учётных данных из встроенного менеджера паролей.

Как пишет Ars Technica, атака использует особенности работы больших языковых моделей. Исследование показывает, что даже ложное утверждение вроде «2 + 2 = 5» может повлиять на поведение системы и заставить её выполнять инструкции, которые обычно блокируются.

Авторы материала также обращают внимание на то, как разработчики AI-браузеров продвигают свои продукты. Речь идёт о сценариях, где пользователь одной командой может найти ресторан, забронировать столик, пригласить коллегу и отправить подтверждение по электронной почте. При этом существующие механизмы защиты в основном представляют собой набор ограничений для отдельных запросов, например связанных с разработкой эксплойтов, кражей данных или созданием взрывных устройств. По мнению авторов исследования, такой подход борется с последствиями, но не устраняет саму базовую проблему.