MIT представил систему пространственно‑временной памяти для роботов

Исследователи MIT разработали фреймворк долгосрочной памяти, который позволяет роботам быстро формировать и вспоминать детализированную модель сложной и крупномасштабной среды. Подход предназначен для задач, где роботу нужно ориентироваться в пространстве и времени, например, находить предметы по описанию на естественном языке. Система объединяет представления карт с подробными описаниями окружающей среды, которые робот собирает во время перемещения.

Фреймворк позволяет роботу быстро обращаться к накопленной памяти и отвечать на сложные вопросы о среде. По словам авторов, такая память работает достаточно быстро для использования мобильным роботом в реальном времени и отвечает на вопросы точнее, чем state-of-the-art методы. Разработчики описывают её как «spatiotemporal» память: она позволяет системе запоминать реальные взаимодействия и наблюдения сенсоров и рассуждать о времени и пространстве.

Метод получил название Describe Anything, Anywhere, Anytime, at Any Moment (DAAAM). Он объединяет наработки из computer vision и robotic mapping: робот прикрепляет богатые описания к объектам, которые видит во время перемещения, и сохраняет их в 3D‑карте, организованной пространственно. Например, система может отметить, что на кампусе MIT есть здание Stata Center с определённой архитектурой, или что на велосипедной стойке стоит пять велосипедов и у красного спущено колесо. Работу представили Luca Carlone из MIT’s Department of Aeronautics and Astronautics (AeroAstro), Laboratory for Information and Decision Systems (LIDS) и MIT SPARK Laboratory, а также Nicolas Gorlo и Lukas Schmid; исследование было представлено на Conference on Computer Vision and Pattern Recognition (CVPR). Возможные применения включают робототехнику и системы augmented reality для задач обслуживания и навигации.