Исследование arXiv показало уязвимость памяти AI-агентов к подмене контекста

Исследователи изучили, как механизмы памяти в AI-агентах на базе LLM влияют на ответы в задачах с выбором вариантов. Речь идет об агентах, которые используют внешнюю память для хранения и извлечения информации о предыдущих взаимодействиях и выполненных задачах.

Как пишет arXiv cs.AI (Artificial Intelligence), авторы создали AI-агента с внешним модулем памяти и протестировали сценарии, где перед ответом на вопрос в память добавляли вводящие в заблуждение или поврежденные данные. Затем они сравнили поведение системы до таких манипуляций и после них.

В контролируемых экспериментах исследователи оценивали изменения точности ответов, успешность атак и то, как часто система выбирала подмененные варианты. По итогам работы авторы пришли к выводу, что даже простые манипуляции с памятью способны заметно влиять на итоговые ответы AI-агента.