Xiaomi представила систему Xiaomi-GUI-0, мультимодального GUI-агента для мобильных приложений, который обучается и тестируется на реальных устройствах. Такие агенты используют vision-language модели, чтобы выполнять пользовательские задачи через действия в интерфейсе: нажатия, свайпы, ввод текста и навигацию.
Как пишет arXiv cs.AI (Artificial Intelligence), авторы работы считают, что существующие GUI-агенты в основном обучаются на офлайн-траекториях, в симулированных средах и на стандартизированных бенчмарках. При этом они заметно отличаются от реальных приложений по структуре интерфейсов, логике взаимодействия и распределению нестандартных состояний. В публикации также отмечается, что на работу агентов в реальных сценариях влияют состояние аккаунтов, окна разрешений, платежная аутентификация и механизмы risk control.
В основе Xiaomi-GUI-0 используется гибридная инфраструктура: физические устройства выступают основной средой исполнения, а sandbox-среды применяются как вспомогательный инструмент. По словам авторов, такой подход помогает выровнять распределение данных между сбором данных, обучением, rollout и оценкой системы в рамках единого цикла работы на реальных устройствах.
Ключевые факты
Xiaomi представила мультимодального GUI-агента Xiaomi-GUI-0 для мобильных устройств
Система обучается и оценивается в замкнутом цикле на реальных устройствах
GUI-агент выполняет действия в интерфейсе, включая нажатия, свайпы, ввод текста и навигацию
В инфраструктуре Xiaomi-GUI-0 физические устройства используются как основная среда исполнения, а sandbox-среды, как вспомогательная