Stability AI представила Stable Virtual Camera для генерации 3D‑видео с управлением камерой
Stability AI показала Stable Virtual Camera, пока в статусе research preview. Это multi-view diffusion model, которая превращает 2D‑изображения в 3D‑видео с реалистичной глубиной и перспективой без сложной реконструкции и без scene-specific optimization. Модель умеет строить ролик как из одного исходного изображения, так и из набора до 32 изображений, формируя новые ракурсы той же сцены.
Система поддерживает user-defined camera trajectories и ещё 14 динамических вариантов движения камеры: 360°, Lemniscate, Spiral, Dolly Zoom In, Dolly Zoom Out, Zoom In, Zoom Out, Move Forward, Move Backward, Pan Up, Pan Down, Pan Left, Pan Right и Roll. Видео можно генерировать в разных форматах кадра, включая 1:1, 9:16 и 16:9, а также в других пользовательских соотношениях сторон без дополнительного обучения. При этом модель сохраняет 3D‑согласованность в роликах длиной до 1,000 кадров.
В тестах novel view synthesis (NVS) Stable Virtual Camera показывает state-of-the-art результаты и опережает ViewCrafter и CAT3D. В бенчмарках применяются метрики LPIPS и PSNR. Архитектура обучена как multi-view diffusion model с фиксированной длиной последовательности и использует procedural two-pass sampling: сначала создаются anchor views, затем целевые ракурсы достраиваются по частям.
Модель доступна для исследовательского использования по лицензии Non-Commercial License. Исследовательская статья опубликована отдельно, веса модели выложены на Hugging Face, код доступен на GitHub.
Ключевые факты
Stable Virtual Camera представлен в формате research preview как multi-view diffusion модель, превращающая 2D‑изображения в 3D‑видео с глубиной и перспективой без сложной реконструкции сцены или scene‑specific optimization.
Модель может генерировать 3D‑видео из одного входного изображения или до 32 изображений и поддерживает пользовательские траектории камеры и 14 динамических путей, включая 360°, Lemniscate, Spiral, Dolly Zoom, Move, Pan и Roll.
Система поддерживает разные соотношения сторон, включая 1:1, 9:16 и 16:9, и может создавать видео длиной до 1 000 кадров с сохранением 3D‑согласованности.
В бенчмарках novel view synthesis модель показывает state‑of‑the‑art результаты, опережая ViewCrafter и CAT3D по метрикам LPIPS и PSNR.