Главная новость завершившихся в Пекине соревнований гуманоидов не в том, сколько секунд робот потратил на стометровку. На закрытии организаторы объявили массив из более чем 2500 часов реальных данных, который планируют бесплатно открыть обществу. Если внутри есть синхронизированные сенсорные потоки и действия роботов, команды смогут быстрее проверять perception- и control-модели. Если там только видео, получится скорее богатый архив соревнований.
Что именно объявили
Как пишет IT Home, в течение пяти дней 666 команд из 16 стран выставили 2056 роботов в 51 дисциплине. AgiBot, впервые участвовавшая в соревнованиях, получила 18 золотых, 16 серебряных и 12 бронзовых медалей. Ее серийные модели соревновались в пожарно-спасательных задачах, сортировке книг, преодолении препятствий, боксе и настольном теннисе.
Но медальная таблица описывает результат отдельных команд. Датасет потенциально может раздать часть накопленного опыта всему рынку.
По данным IT Home, массив охватывает 12 сценариев, включая промышленность, магазины, общепит, офисы, дома и пожарно-спасательные работы. В нем заявлены 44 типа операций, более сотни навыков и свыше десяти тысяч детализированных задач. Организаторы также включили неудачные попытки и данные о работе на границах допустимых условий.
Последний пункт особенно полезен. Успешная демонстрация показывает, что система однажды справилась. Ошибки показывают, где именно она перестает справляться, а значит, дают материал для следующей итерации обучения и тестирования.
Есть, однако, принципиальная оговорка. IT Home пишет, что данные будут бесплатно открыты через оргкомитет. В публикации нет ссылки на скачивание, описания файлов, перечня сенсоров или текста лицензии. Поэтому считать массив уже доступным для разработки рано.
Бесплатные часы еще не означают готовый обучающий контур
До соревнований команды тренировались в бытовых, гостиничных и промышленных сценариях. В домашнем задании роботам требовалось за 30 минут раскладывать предметы и складывать одежду. Пожарный сценарий перенесли в реальную пожарную часть: роботы должны были распознавать опасные вещества, перекрывать клапаны и тушить огонь. В другом турнире полноразмерным гуманоидам вообще запретили дистанционное управление, оставив автономное движение и принятие решений.
То есть соревнования постепенно превращаются из парада эффектных трюков в фабрику физических эпизодов. Именно поэтому массив на 2500 часов выглядит важнее очередного рекорда. Железо одной команды нельзя скачать. Данные, если они нормально упакованы и лицензированы, можно использовать для проверки собственных моделей.
Для perception-моделей команде нужно искать в релизе синхронизированные записи камер и других сенсоров, временные метки, калибровки и разметку объектов или событий. Для control-моделей критичны состояния робота, команды, траектории действий и связь между наблюдением и выполненным движением. Источник подтверждает наличие данных о физических операциях, неудачах и граничных режимах, но не раскрывает ни одну из этих технических деталей.
С лицензией та же проблема. Слово «бесплатно» отвечает на вопрос о цене доступа, но не о коммерческом использовании, обучении моделей и распространении производных результатов. Российская команда может сократить собственный сбор данных только после того, как эти права будут сформулированы явно. Иначе экономия на записи эпизодов легко превращается в расходы на юридическую проверку и повторный сбор.
Поэтому преимущество пока не сместилось от железа к данным окончательно. Организаторы лишь создали шанс на такой сдвиг. Выиграют команды, которые первыми проведут аудит массива и проверят его на небольшой задаче. Проиграют те, кто примет число часов за показатель качества и сразу начнет перестраивать пайплайн под неизвестный формат.
Что смотреть дальше
Маркер здесь конкретный: оргкомитет должен опубликовать ссылку на загрузку, полный текст лицензии, схему данных и хотя бы несколько образцов эпизодов. Если в них будут синхронизированы наблюдения, состояния и действия робота, релиз действительно сможет заменить часть собственного сбора и ускорить эксперименты с control-моделями. Если появятся только видеозаписи с описаниями заданий, ценность останется в основном на стороне perception. В робототехнике 2500 часов звучат внушительно, но решает не хронометраж, а то, что записано между кадрами.