Исследователи показали, как путаница ролей в LLM позволяет обходить защиту от prompt injection

Исследователи считают, что современные большие языковые модели плохо различают авторизованные инструкции и вредоносные вставки. Поэтому атаки типа prompt injection по‑прежнему остаются устойчивой проблемой. Модели получают текстовые запросы от пользователей или из загруженных документов, и злоумышленник может встроить в такой текст инструкции, противоречащие системным ограничениям. Как сообщает The Register, исследователи Чарльз Е, Жасмин Цуй и доцент MIT Дилан Хэдфилд‑Менелл полагают: при нынешней архитектуре безопасности LLM полностью избавиться от таких атак вряд ли получится.

В работе «Prompt Injection as Role Confusion», опубликованной в материалах конференции ICML 2026, авторы разбирают механизм «ролей». Его используют, чтобы отделять системные инструкции от пользовательского текста. Этот подход появился после выхода ChatGPT в 2022 году. Модель получает запрос пользователя и отвечает как «помощник», придерживаясь заданного системного поведения. Со временем, пишут авторы, роли начали выполнять слишком много задач и постепенно стали чем‑то вроде уровней доверия для разных частей текста.

Проблема в том, что модель определяет роль фрагмента по стилю письма, а не через надежную проверку. Этим и пользуется атакующий: он имитирует стиль системных инструкций и заставляет модель принять вредоносный текст за собственное рассуждение. Исследователи показали пример атаки CoT Forgery. В запрос добавляется поддельная цепочка рассуждений, оформленная так, будто это внутренний режим OpenAI. В одном из примеров модель соглашалась описывать синтез кокаина после вставки фиктивного объяснения о том, что это допустимо из‑за «зелёной рубашки», текст воспринимался как уже принятое моделью решение.

По словам авторов, на стандартном бенчмарке для проверки джейлбрейков атака CoT Forgery подняла успешность обхода ограничений с почти нулевого уровня примерно до 60%. В отличие от многих джейлбрейков, которые срабатывают только на отдельных моделях, этот метод переносится между системами. Причина в том, что он использует структурную особенность архитектуры ролей, а не пытается убедить модель выполнить вредоносный запрос.