Xiaomi представила GUI-агента для мобильных устройств с обучением на реальных смартфонах

Xiaomi представила систему Xiaomi-GUI-0, мультимодального GUI-агента для мобильных приложений, который обучается и тестируется на реальных устройствах. Такие агенты используют vision-language модели, чтобы выполнять пользовательские задачи через действия в интерфейсе: нажатия, свайпы, ввод текста и навигацию.

Как пишет arXiv cs.AI (Artificial Intelligence), авторы работы считают, что существующие GUI-агенты в основном обучаются на офлайн-траекториях, в симулированных средах и на стандартизированных бенчмарках. При этом они заметно отличаются от реальных приложений по структуре интерфейсов, логике взаимодействия и распределению нестандартных состояний. В публикации также отмечается, что на работу агентов в реальных сценариях влияют состояние аккаунтов, окна разрешений, платежная аутентификация и механизмы risk control.

В основе Xiaomi-GUI-0 используется гибридная инфраструктура: физические устройства выступают основной средой исполнения, а sandbox-среды применяются как вспомогательный инструмент. По словам авторов, такой подход помогает выровнять распределение данных между сбором данных, обучением, rollout и оценкой системы в рамках единого цикла работы на реальных устройствах.