Как сообщает Филипп Шмид, Gemini 3.7 Flash Computer Use подключили к Android-эмулятору, написав примерно 150 строк на Python. Агент получает скриншоты через ADB. Модель анализирует изображение и возвращает команды с нормализованными координатами от 0 до 999, а скрипт масштабирует их под разрешение 1080 × 1920 пикселей. Затем он выполняет нажатия, вводит текст и нажимает клавиши.
Во время демонстрации агент открыл Chrome и закрыл два всплывающих окна: обучающее и статистическое. После этого он сыграл партию в Wordle. Сначала модель ввела CRANE, распознала цветовую обратную связь, выбрала SPICE и решила задачу за 2 попытки.
Среди возможных применений в материале названы автоматизированное тестирование интерфейсов, проверка пользовательских сценариев и исследовательское воспроизведение ошибок. Подход также подходит для автоматизации задач.
Модель работает с исходными скриншотами, поэтому ей не нужны accessibility IDs или DOM trees. Решение можно использовать с нативными приложениями Android, webview и динамическими canvas-интерфейсами.
Ключевые факты
Для реализации агента потребовалось примерно 150 строк Python.
Координаты действий возвращаются в диапазоне 0–999 и масштабируются до 1080 × 1920 пикселей.
В Wordle модель сначала ввела CRANE, затем SPICE и решила игру за 2 попытки.
Скриншоты передаются через ADB, а после каждого действия цикл получает обновленное изображение.
Вопросы и ответы
- Сколько кода нужно для такого агента?
Прототип потребовал примерно 150 строк Python. Скрипт получает скриншоты через ADB и выполняет нажатия, ввод текста и нажатия клавиш.
- Для каких Android-интерфейсов подходит этот подход?
Он применим к нативным приложениям, webview и динамическим canvas-интерфейсам, поскольку работает с исходными скриншотами и не зависит от accessibility IDs или DOM trees.
- Как агент переводит ответ модели в действия на экране?
Модель возвращает координаты в диапазоне 0–999, после чего скрипт масштабирует их до разрешения эмулятора 1080 × 1920 пикселей. После каждого действия через ADB передается обновленный скриншот.
Контекст по теме
- Google описала сценарии безопасного тестирования браузерных ИИ-агентов с Gemini Computer Use30 июня 2026 г.
- Функция Share Window в приложении Gemini для Mac позволяет получать пошаговые подсказки по работе с программами19 июня 2026 г.
- Google представила Gemini 3.5 Flash, Gemini Omni и стек агентов Antigravity 2.0 на I/O9 июня 2026 г.
- Google представила серию моделей Gemini 3.5 на Google I/O9 июня 2026 г.