Исследование arXiv: LLM-агенты по-разному справляются с решением прекратить действия

Исследователи предложили концепцию Agentic Abstention. Это ситуация, при которой LLM-агент должен понять, что дальнейшие действия уже не помогут выполнить задачу, и прекратить обращения к инструментам. Речь идет о многошаговых системах, использующих поиск, браузерные интерфейсы и терминалы для достижения пользовательских целей.

Как пишет arXiv cs.AI (Artificial Intelligence), авторы рассматривают отказ от дальнейших действий не как стандартный одношаговый выбор между ответом и отказом, а как последовательную задачу принятия решений. На каждом этапе агент может дать ответ, собрать дополнительную информацию или остановить выполнение задачи. При этом необходимость прекратить работу иногда становится очевидной только после взаимодействия со средой.

В работе исследовали поведение 13 LLM-as-agent систем и 2 agent scaffolds более чем на 28 тыс. задач в сценариях веб-шопинга, работы с терминалом и ответов на вопросы. Авторы считают, что проблема заключается не только в способности агентов вовремя отказаться от действий, но и в выборе подходящего момента для этого. Одни системы продолжают действовать, даже когда это уже бесполезно, другие останавливаются только после множества лишних шагов.