Фреймворк SpatialTree для пространственного интеллекта MLLM принят на CVPR 2026

Совместная исследовательская группа из Zhejiang University, ByteDance Seed и Beijing Jiaotong University представила фреймворк SpatialTree, посвящённый развитию пространственного интеллекта в мультимодальных больших языковых моделях (MLLM). Работа принята на конференцию CVPR 2026. Авторы предлагают целостную схему того, как такие модели могут воспринимать пространственную информацию и использовать её в задачах рассуждения и действия.

Современные MLLM уже умеют описывать изображения и понимать видео. Но когда дело доходит до оценки расстояния, определения размеров объектов, сопоставления разных ракурсов или планирования маршрутов, системы всё ещё часто испытывают трудности. В SpatialTree эти способности разложены на четыре уровня. Первый уровень, Perception, связан с базовыми характеристиками: расстояние, размер, форма, движение и направление. Далее идёт Mental Mapping, где пространственные данные переводятся в язык и сохраняются в памяти. Уровень Mental Simulation отвечает за пространственное рассуждение до выполнения действия, например за планирование маршрута. Наконец, Agentic Competence описывает переход от восприятия к действию, включая навигацию в играх или роботическую манипуляцию.

Чтобы проверить такие навыки на практике, исследователи разработали бенчмарк SpatialTree-Bench. Он охватывает 27 пространственных подспособностей. Как сообщает Pandaily, результаты показывают заметные ограничения даже у ведущих моделей. Лучшая система в тестах, Gemini 3 Flash, получила средний результат 57.8. Модель Seed 1.8 от ByteDance набрала 50.3 и оказалась в верхнем диапазоне результатов.