WinDOM и Self-Family Distillation: подход к обучению небольших GUI‑агентов без ручной разметки
Исследователи представили WinDOM и метод Self-Family Distillation (SFD). Работа нацелена на то, чтобы улучшить возможности небольших GUI‑агентов с масштабом около ~2B параметров. Такие модели рассматривают как удобный вариант для on-device deployment, инструментов доступности и недорогих циклов разработки. При этом остаются две практические проблемы: где брать данные с bounding box без дорогой ручной разметки и как совместить supervised fine-tuning с reinforcement learning.
Для первой задачи авторы собрали корпус WinDOM, в него вошли 54,425 записей. Данные получены при управлении open-source web‑реализацией Windows 11 в среде headless Playwright. Координаты bounding box считываются напрямую из DOM, без OCR и без участия людей в разметке. Как сообщает arXiv cs.AI (Artificial Intelligence), такой подход позволяет автоматически формировать датасет для задач GUI grounding.
Вторая часть работы связана с методом Self-Family Distillation. Он опирается на одношаговый rejection-sampling cold-start, который параметризуется только выбором teacher. В этой роли может выступать либо EMA от student, то есть без внешней модели, либо зафиксированная более крупная модель той же семьи. Насыщенность этапа SFD авторы рассматривают как гиперпараметр GRPO.
Эксперименты на student‑модели Qwen3.5-2B показали интересную деталь. «Недонасыщенный» cold-start оказался более удачным инициализатором для GRPO, чем полностью сошедшийся вариант. Конфигурация SFD-4B с Early-init RL даёт прирост +5.4 по метрике OOD-mean, включая +3.5 на ScreenSpot-Pro и +7.0 на OSWorld-G.
Ключевые факты
WinDOM, это объединённый корпус из 54,425 записей, полученный с помощью open-source реализации Windows 11.
Разработка включает Self-Family Distillation для улучшения качества обучения без человеческой аннотации.
Используется 2B модель Qwen3.5-2B, при этом недообученный начальный уровень демонстрирует лучшие результаты по сравнению с конвергированным.