Исследователи представили протокол ElephantAgent для защиты агентных систем от атак через инструменты и память. В работе разбирается проблема «отравления» контекстного состояния: вредоносные описания инструментов или изменённые данные памяти могут незаметно влиять на поведение агента во время планирования и выполнения задач.
Как сообщает arXiv cs.AI (Artificial Intelligence), авторы связывают такие угрозы с отсутствием проверяемой непрерывности контекстного состояния агента. В статье контекстное состояние описывается как ограниченная и критичная для безопасности часть общего контекста системы, включая состояние инструментов и память.
Перед обработкой каждого запроса ElephantAgent заново вычисляет digest локального контекстного состояния и сверяет его с последним авторизованным digest. Для отслеживания изменений протокол использует реплицированное доверенное оборудование, а также поддерживает linearizable ledger авторизованных переходов контекстного состояния. Это позволяет обнаруживать несанкционированные изменения.
Ключевые факты
ElephantAgent ориентирован на защиту от атак через tool poisoning и memory poisoning.
Контекстное состояние в работе включает критичные для безопасности данные, такие как состояние инструментов и память.
Перед каждым запросом протокол пересчитывает digest локального контекстного состояния и сравнивает его с последним авторизованным digest.
Для отслеживания переходов состояния используется replicated trusted hardware и linearizable ledger.