NVIDIA Research представила SpatialClaw, фреймворк для пространственного анализа, который работает без дополнительного обучения моделей. Он нацелен на давнюю проблему vision-language моделей (VLM): таким системам по-прежнему трудно точно определять положение объектов, их взаимосвязи и движение в 3D‑пространстве.
В SpatialClaw разработчики не пытаются дообучать модель. Вместо этого меняется сам интерфейс действий агента при работе с инструментами восприятия. Команда считает, что именно интерфейс часто становится узким местом. В качестве решения предлагается использовать код как форму такого интерфейса. На 20 бенчмарках система показывает среднюю точность 59.9%. Это на 11.2 пункта выше результата пространственного агента SpaceTools.
С архитектурной точки зрения SpatialClaw построен как цикл агента поверх stateful Python kernel. В ядро заранее загружаются входные кадры и набор примитивов. Инструменты восприятия оформлены как обычные Python‑функции. Их результаты, включая masks, depth maps, camera geometry и trajectories, сохраняются как стандартные Python‑переменные. Ядро предоставляет шесть публичных точек входа: InputImages, Metadata, tools, show(), vlm и ReturnAnswer().
Среди ключевых инструментов есть tools.Reconstruct, обёртка над Depth Anything 3. Она возвращает глубину по кадрам, camera intrinsics, extrinsics и плотные карты точек. Другой важный модуль, tools.SAM3, использует SAM 3 и генерирует image или video masks по текстовым, точечным или box‑запросам. Дополнительно доступны вспомогательные модули tools.Geometry, tools.Mask, tools.Time, tools.Graph и tools.Draw.
В контролируемом сравнении исследователи протестировали три варианта интерфейса действий. При этом prompt, набор инструментов и параметры оставались одинаковыми. Базовый режим без инструментов показал средний результат 53.4% на 20 бенчмарках. Подход single-pass code достиг 55.2%, вариант structured tool-call дал 56.7%. SpatialClaw с интерфейсом «code as action» показал 59.9% на базе Gemma4-31B. Если сравнить с другими пространственными агентами на той же базе, разница ещё заметнее: VADAR получил 40.5, pySpatial 47.8, SpaceTools-Toolshed 48.7.
Тестирование проходило на 20 бенчмарках из пяти категорий: single-image, multi-view, general, video and 4D и general video understanding. Эксперименты включали шесть backbones с параметрами от 26B до 397B из семейств Qwen3.5/3.6 и Gemma4. Самые заметные улучшения проявились в динамических задачах. На Gemma4-31B результат DSI-Bench вырос на +17.6 пункта, MindCube прибавил +15.3. Оба сценария требуют последовательных геометрических вычислений между кадрами и разными точками наблюдения.
Ключевые факты
NVIDIA Research представила SpatialClaw, training‑free фреймворк для пространственного рассуждения, в котором агент использует код как интерфейс действий и выполняет Python в stateful kernel.
В тестах на 20 бенчмарках SpatialClaw показал среднюю точность 59.9%.
На том же наборе тестов SpatialClaw опередил пространственного агента SpaceTools на 11.2 пункта.
Система тестировалась на шести backbones размером от 26B до 397B параметров из семейств Qwen3.5/3.6 и Gemma4.