Новости

Исследование: веб‑агенты завершают задачи, но часто дают неполные или ошибочные ответы

Обновлено: 27 июня 2026 г.

Фото: arXiv cs.AI (Artificial Intelligence)

Почему это важно

Работа показывает, что метрики финального ответа могут скрывать системные ошибки веб‑агентов: модель может завершать задачу и давать связный ответ, но при этом упускать данные или опираться на неподтверждённые источники. Для команд, строящих продукты на агентных системах, это может означать необходимость перехода от оценки по итоговому ответу к анализу траекторий и промежуточных действий. Результаты также сигнализируют, что обучение с синтетическими данными может повышать частичную корректность и снижать склонность модели воздерживаться от ответа, но не устраняет ключевые классы ошибок.

Долгосрочные веб-агенты нередко завершают задачу и выдают уверенный ответ, хотя результат остаётся неполным или содержит ошибки. Они переходят по релевантным страницам и собирают аккуратно оформленный итог. При этом часть нужных полей может оказаться пропущенной, в ответе появляются неподтверждённые элементы или используются устаревшие данные. Если смотреть только на финальный ответ, такие проблемы легко не заметить: формально задача выглядит выполненной.

Авторы работы разбирают эту ситуацию с помощью бенчмарка Parallel WebBench, созданного для параллельного исследования веб-страниц. В наборе 1,679 проверенных записей: 350 вручную подготовленных параллельных задач и 1,329 реконструированных записей с подтверждёнными траекториями по URL. Как сообщает arXiv cs.AI (Artificial Intelligence), в экспериментах обучались агенты типа WebExplorer с использованием GRPO и разных смесей данных: только человеческих, сбалансированных human-synthetic и synthetic-heavy.

При контексте 16k и 16 раундах взаимодействия лучшая модель с GRPO увеличила completion по сравнению с WebExplorer-8B с 50.7% до 96.0%. Показатель GPT-4.1-mini-judged element-wise F1 также вырос, с 0.2489 до 0.4529. При этом бинарная точность остаётся заметно ниже уровня completion. Анализ трасс выявил три устойчивых режима ошибок: циклы поиска, вызванные ограничениями контекста; преждевременное завершение при частичном ответе; «collapse» на этапе синтеза, уже после извлечения релевантных доказательств. Авторы добавляют, что synthetic-data GRPO снижает долю отказов и повышает частичную корректность результатов.

Ключевые факты

В бенчмарке Parallel WebBench используется 1 679 проверенных записей: 350 вручную собранных параллельных задач и 1 329 реконструированных записей с проверенными URL‑траекториями.
Агенты в стиле WebExplorer обучались методом GRPO на трёх смесях данных: только человеческие данные, сбалансированная смесь человеческих и синтетических, и преимущественно синтетические данные.
При контексте 16k и 16 раундах взаимодействия лучшая GRPO‑модель увеличила completion с 50.7% у WebExplorer‑8B до 96.0%.
Оценка element‑wise F1, рассчитанная GPT‑4.1‑mini, выросла с 0.2489 до 0.4529; анализ трасс выявил три устойчивых режима сбоев: context‑bound search loops, преждевременное завершение на частичных ответах и synthesis collapse после получения релевантных доказательств.