NVIDIA Research представила SpatialClaw, агент без обучения, использующий код как интерфейс действий для пространственного анализа

NVIDIA Research представила SpatialClaw, фреймворк для пространственного анализа, который работает без дополнительного обучения моделей. Он нацелен на давнюю проблему vision-language моделей (VLM): таким системам по-прежнему трудно точно определять положение объектов, их взаимосвязи и движение в 3D‑пространстве.

В SpatialClaw разработчики не пытаются дообучать модель. Вместо этого меняется сам интерфейс действий агента при работе с инструментами восприятия. Команда считает, что именно интерфейс часто становится узким местом. В качестве решения предлагается использовать код как форму такого интерфейса. На 20 бенчмарках система показывает среднюю точность 59.9%. Это на 11.2 пункта выше результата пространственного агента SpaceTools.

С архитектурной точки зрения SpatialClaw построен как цикл агента поверх stateful Python kernel. В ядро заранее загружаются входные кадры и набор примитивов. Инструменты восприятия оформлены как обычные Python‑функции. Их результаты, включая masks, depth maps, camera geometry и trajectories, сохраняются как стандартные Python‑переменные. Ядро предоставляет шесть публичных точек входа: InputImages, Metadata, tools, show(), vlm и ReturnAnswer().

Среди ключевых инструментов есть tools.Reconstruct, обёртка над Depth Anything 3. Она возвращает глубину по кадрам, camera intrinsics, extrinsics и плотные карты точек. Другой важный модуль, tools.SAM3, использует SAM 3 и генерирует image или video masks по текстовым, точечным или box‑запросам. Дополнительно доступны вспомогательные модули tools.Geometry, tools.Mask, tools.Time, tools.Graph и tools.Draw.

В контролируемом сравнении исследователи протестировали три варианта интерфейса действий. При этом prompt, набор инструментов и параметры оставались одинаковыми. Базовый режим без инструментов показал средний результат 53.4% на 20 бенчмарках. Подход single-pass code достиг 55.2%, вариант structured tool-call дал 56.7%. SpatialClaw с интерфейсом «code as action» показал 59.9% на базе Gemma4-31B. Если сравнить с другими пространственными агентами на той же базе, разница ещё заметнее: VADAR получил 40.5, pySpatial 47.8, SpaceTools-Toolshed 48.7.

Тестирование проходило на 20 бенчмарках из пяти категорий: single-image, multi-view, general, video and 4D и general video understanding. Эксперименты включали шесть backbones с параметрами от 26B до 397B из семейств Qwen3.5/3.6 и Gemma4. Самые заметные улучшения проявились в динамических задачах. На Gemma4-31B результат DSI-Bench вырос на +17.6 пункта, MindCube прибавил +15.3. Оба сценария требуют последовательных геометрических вычислений между кадрами и разными точками наблюдения.