Google описала сценарии безопасного тестирования браузерных ИИ-агентов с Gemini Computer Use

Google представила Gemini Computer Use, рабочий процесс для тестирования ИИ-агентов, которые умеют взаимодействовать с браузером, мобильными и desktop-подобными интерфейсами. Речь не только о перемещении курсора. Основной акцент сделан на безопасной постановке задач, контроле действий агента и проверке результата. Как пишет Towards AI, система может работать через Gemini Developer API или Vertex AI, а браузерная среда может запускаться локально через Playwright либо через Browserbase.

Gemini Computer Use позволяет модели самостоятельно выполнять действия в интерфейсе: нажимать кнопки, вводить текст, переходить между страницами и анализировать состояние экрана. Такой подход рассчитан на случаи, когда у сервиса нет готового API или создание интеграции требует слишком много времени. При этом в материале отмечается, что браузерные интерфейсы остаются нестабильной средой. Элементы могут меняться, авторизация истекать, а Captcha способна блокировать сессии.

В публикации Computer Use предлагается использовать как «гибкий» уровень в инфраструктуре ИИ-автоматизации, после API, MCP-серверов, пользовательских адаптеров и детерминированных скриптов автоматизации. Для задач с высокой повторяемостью и большим объемом операций Google рекомендует API или Playwright-скрипты. Browser-агентов предлагается применять там, где нужна визуальная интерпретация интерфейса или исследовательские сценарии с участием человека в проверке результата.