В MIT разработали систему DAAAM, позволяющую роботам запоминать объекты и их расположение
Учёные Массачусетского технологического института (MIT) представили систему долговременной памяти для роботов под названием DAAAM (Describe Anything, Anywhere, Anytime, at Any Moment). Она помогает машинам запоминать объекты и их расположение в больших и сложных пространствах, чтобы позже находить их и использовать эти сведения при выполнении задач. Как сообщает iXBT, разработка рассчитана на ситуации, когда роботу нужно помнить о предметах и событиях, с которыми он сталкивался раньше.
В основе DAAAM лежит сочетание компьютерного зрения и трёхмерного картирования. Пока робот перемещается, он строит карту окружающего пространства и одновременно добавляет текстовые описания обнаруженных объектов. В результате система связывает предметы с конкретными местами. Например, она может запомнить красный велосипед со спущенным колесом рядом с определённым зданием или инструмент в рабочей зоне.
Такая память позволяет пользователю задавать вопросы вроде «Где я оставил кошелёк?» или просить робота принести деталь, с которой работали ранее. В поиске машина опирается не только на текущее изображение с камер, но и на сохранённые данные. По словам разработчиков, DAAAM работает достаточно быстро для применения на мобильных роботах в реальном времени. В испытаниях система показала более высокую точность ответов по сравнению с существующими методами. Работу представили на конференции Conference on Computer Vision and Pattern Recognition (CVPR). Сейчас команда продолжает развивать систему, в том числе добавляет механизмы оценки уверенности в воспоминаниях робота и расширяет её способность запоминать не только объекты, но и важные события.
Ключевые факты
Учёные MIT представили систему долговременной памяти для роботов DAAAM (Describe Anything, Anywhere, Anytime, at Any Moment), которая позволяет запоминать объекты и их расположение в больших и сложных пространствах.
Система объединяет компьютерное зрение и трёхмерное картирование: во время движения робот строит карту пространства и добавляет к объектам текстовые описания.
Пользователь может задавать запросы вроде «Где я оставил кошелёк?» или «Принеси деталь, которую мы начали собирать вчера вечером», после чего робот ищет объект по сохранённой памяти, а не только по текущему изображению с камер.
Работа над системой представлена на конференции Conference on Computer Vision and Pattern Recognition (CVPR); в испытаниях DAAAM показала более высокую точность ответов по сравнению с существующими методами.