Сбер 6 октября запустил Kandinsky 6.0 Video — семейство моделей, которые по текстовому запросу или исходному изображению создают видео вместе со звуковой дорожкой. Пользователи могут генерировать ролики в GigaChat, а разработчики — скачать код и веса из официального репозитория.
Что умеет Kandinsky 6.0 Video
Модель одновременно создаёт изображение и звук, согласуя их по времени и содержанию. Дорожка может включать речь, музыку и окружающие шумы, а для диалогов поддерживается синхронизация речи с движением губ. Звук генерируется с частотой дискретизации 44 кГц.
Доступны два режима: создание сцены по тексту и продолжение загруженного изображения. Модель понимает запросы на русском языке. При необходимости генерацию звука можно отключить.
Читайте также
Семейство включает Lite с 3 млрд параметров и Pro с 29 млрд. Lite рассчитана на более быструю работу, а Pro — на более сложную динамику движения и точное управление камерой. Обе версии создают ролики длительностью пять секунд при 24 кадрах в секунду.
Ограничения модели
Максимальная продолжительность видео со звуком пока составляет пять секунд. Для сравнения, Kandinsky 5.0 создавала немые ролики длительностью до десяти секунд.
Full HD не всегда означает, что ролик сразу генерируется в разрешении 1920 × 1080. Lite создаёт видео в SD с последующим увеличением разрешения, а открытая Pro по умолчанию работает с кадром 864 × 480 точек. Для повышения качества используется отдельная модель суперразрешения.
Код и контрольные точки опубликованы под лицензией MIT, но локальный запуск Pro требует мощного оборудования. Согласно репозиторию, даже на видеокарте с 80 ГБ памяти необходимо переносить часть вычислений в оперативную память. Поэтому открытая модель не рассчитана на простой запуск на обычном компьютере.
Что это значит
Kandinsky 6.0 позволяет получить короткую сцену с речью, музыкой и шумами в одном сервисе, без отдельной генерации аудиодорожки. Это может быть полезно для набросков рекламы, заставок и контента для соцсетей.
Однако пятисекундный лимит делает модель скорее инструментом для отдельных сцен и прототипов, чем для готовых сюжетных видео. Качество синхронизации и стабильность результатов на пользовательских запросах ещё требуют независимой проверки.