Исследователи изучили, как механизмы памяти в AI-агентах на базе LLM влияют на ответы в задачах с выбором вариантов. Речь идет об агентах, которые используют внешнюю память для хранения и извлечения информации о предыдущих взаимодействиях и выполненных задачах.
Как пишет arXiv cs.AI (Artificial Intelligence), авторы создали AI-агента с внешним модулем памяти и протестировали сценарии, где перед ответом на вопрос в память добавляли вводящие в заблуждение или поврежденные данные. Затем они сравнили поведение системы до таких манипуляций и после них.
В контролируемых экспериментах исследователи оценивали изменения точности ответов, успешность атак и то, как часто система выбирала подмененные варианты. По итогам работы авторы пришли к выводу, что даже простые манипуляции с памятью способны заметно влиять на итоговые ответы AI-агента.
Ключевые факты
Исследование рассматривает манипуляции памятью в AI-агентах для задач с выбором ответа
Авторы создали AI-агента на базе LLM с внешним компонентом памяти
В экспериментах в память агента добавлялись вводящие в заблуждение или поврежденные данные
Исследователи измеряли изменения точности ответов, успешность атак и выбор подмененных вариантов