Google DeepMind 9 ноября представила Gemini Robotics 2.5 — модель, которая получает изображение с камер и команды, а затем преобразует их в движения робота. В пилотном проекте с Mercedes-Benz и разработчиком роботов Apptronik человекоподобный Apollo 2 комплектовал наборы автомобильных деталей на нескольких европейских заводах и, по данным Google, успешно выполнил 96% операций.
На линиях в немецком Зиндельфингене и венгерском Кечкемете робот извлекал металлические детали из контейнеров и раскладывал их по лоткам в последовательности, необходимой для сборки. За общий план отвечала модель Gemini Robotics ER, а Gemini Robotics 2.5 непосредственно управляла руками Apollo 2.
Модель относится к классу vision-language-action, или VLA. В отличие от традиционного промышленного робота, которому заранее программируют ограниченный набор движений, такая система должна анализировать окружающую обстановку, понимать поставленную задачу и выбирать действия. Google проверила Gemini Robotics 2.5 более чем на 200 заданиях: среди них работа щипцами и пипеткой, завязывание банта и манипуляции с гибкими предметами.
Читайте также
По внутренним тестам Google, успешность выполнения заданий выросла на 30–100%, а скорость — на 20–30% относительно прежних версий. Модель испытывали на Apollo 2 и двухрукой установке Franka Duo. Независимой проверки результатов нет. Показатель 96% получен в ограниченном заводском пилоте, длительность и объём операций которого Google не раскрыла; сравнения времени цикла с человеком также нет.
Есть и техническое ограничение: Gemini Robotics 2.5 работает на облачных серверах, поэтому между наблюдением и движением возникает задержка. Ars Technica отмечает, что демонстрационное видео Google было ускорено вдвое.
Для работы рядом с людьми система получила механизм обнаружения опасных ситуаций: робот должен остановиться или дождаться освобождения пути. По тестам Google, эта функция увеличила долю безопасно завершённых заданий на 33% при появлении препятствий и на 43% при нахождении людей рядом. Компания также открыла набор проверочных запросов ASIMOV-Jailbreak, предназначенный для поиска способов обманом заставить робота выполнить опасную команду.
Gemini Robotics 2.5 пока передаётся только партнёрам Google в робототехнике: публично она недоступна.