Новости

Исследование сравнило эффективность GUI- и CLI‑агентов при выполнении задач на компьютере

Обновлено: 27 июня 2026 г.

Фото: arXiv cs.AI (Artificial Intelligence)

Почему это важно

Работа показывает, что сравнение агентов через GUI и CLI может вводить в заблуждение, если не контролировать условия задач, и предлагает более сопоставимый способ оценки. Результаты могут означать, что ограничения CLI‑агентов связаны прежде всего с покрытием и масштабируемостью навыков, тогда как для GUI‑агентов узким местом остается надежное взаимодействие с интерфейсом в длинных рабочих цепочках. Для компаний, строящих компьютер‑агентов, это сигнализирует, что улучшение инфраструктуры навыков и инструментов может быть не менее важным, чем улучшение самих моделей.

Исследователи предложили сопоставимый бенчмарк для оценки агентов, которые выполняют задачи на компьютере через графические интерфейсы (GUI) и командную строку (CLI). В основу лег набор из 440 настольных задач, охватывающий 18 приложений и 12 категорий рабочих процессов. Для обеих групп задали одинаковые цели и начальные состояния, одинаково проверяли итоговый результат. Различия касались только того, как именно агент может действовать: его шаги ограничены возможностями соответствующей среды взаимодействия.

В контролируемом эксперименте самый сильный GUI‑агент полностью прошел 59.1% задач. Лучший CLI‑агент с исходным набором навыков показал 48.2%. Когда исследователи добавили навыки с использованием verifier‑guided skill augmentation, результат CLI вырос до 69.3%. Это указывает на заметную роль полноты набора навыков, а не только возможностей самой модели.

Авторы также обращают внимание на различия в ограничениях, с которыми сталкиваются агенты. У GUI‑агентов основной трудностью остается надежное взаимодействие с элементами на экране в длинных рабочих сценариях. CLI‑агенты, в свою очередь, упираются в покрытие и масштабируемость своих интерфейсов навыков. Подробности эксперимента и результаты описаны в работе, о которой пишет arXiv cs.AI (Artificial Intelligence).

Ключевые факты

Авторы представили согласованный по условиям бенчмарк из 440 настольных задач в 18 приложениях и 12 категориях рабочих процессов, где GUI‑ и CLI‑агенты получают одинаковые цели, начальные состояния и проверку финального состояния.
В контролируемом эксперименте самый сильный GUI‑агент показал 59.1% полного прохождения задач, тогда как самый сильный CLI‑агент с исходным набором навыков достиг 48.2%.
Добавление навыков с направлением через verifier повысило успешность CLI‑агента до 69.3%.
Исследование связывает ограничения GUI‑агентов с надежным заземленным взаимодействием на длинных сценариях, а ограничения CLI‑агентов, с неполным покрытием и масштабируемостью интерфейсов навыков.