Исследователи описали подход под названием context bomb: это короткие текстовые строки, которые встраиваются в ложные ресурсы-приманки и провоцируют срабатывание защитных механизмов у ИИ-агентов, выполняющих кибератаки. Метод задуман не только для обнаружения проникновения через canary-ресурсы, но и для того, чтобы прерывать действия модели прямо во время атаки.
Как сообщает Hacker News, авторы протестировали подход на пяти ведущих моделях. По их словам, одна context bomb, размещённая в секретном canary-ресурсе, снижала успешность атакующих агентов примерно на 90% по сравнению с базовой средой. Чтобы находить эффективные строки, исследователи создали fuzzing-систему с симуляцией AWS-инфраструктуры и типовыми DevOps-задачами. В этой среде агенты постепенно обнаруживали встроенные строки.
В статье говорится, что метод опирается на уже существующие safety-ограничения моделей. Авторы приводят примеры prompt injection из практики Check Point и Socket, а также использовали материалы вроде датасета NVIDIA Aegis и набора Promptfoo CCP sensitive prompts. При этом исследователи избегали кибертематических формулировок и подбирали короткие строки, которые можно размещать в переменных окружения, DNS-записях, хранилищах секретов и полях баз данных.
Ключевые факты
Авторы заявляют о снижении успешности атакующих агентов примерно на 90% после размещения одной context bomb в canary-секрете.
Для тестирования использовалась симуляция AWS-среды с типовыми DevOps-задачами и несколькими сценариями атак.
Исследователи классифицировали прогресс атак по уровням от T1 до T5, где T1 обозначает наиболее серьёзный результат.
В тестовой среде были заранее заложены ошибки конфигурации, открывающие десять различных путей атаки.