Китайская технологическая компания Kuaishou 15 октября запустила Kling AI 4.0 — новую версию модели для генерации и редактирования видео. Этому предшествовал ранний доступ, открытый 28 сентября. За один запуск модель может создать ролик длительностью до 30 секунд вместе с речью, звуковыми эффектами и двухканальным стереозвуком. Компания также заявляет об улучшенной синхронизации речи с движениями губ.
Новая версия ориентирована на управляемую сборку сцены. Пользователь может загрузить до 15 материалов-образцов: не более десяти изображений и пяти видео общей продолжительностью до 30 секунд. В одном задании разрешено указать до семи отдельных персонажей или объектов, включая закреплённый за персонажем голос.
Для управления ключевыми моментами ролика можно задать до десяти кадров с нужными позами и выражениями лиц, сменами сцен и этапами действия. Длина текстового запроса увеличена до 8000 токенов.
Читайте также
Kling 4.0 также позволяет брать готовое видео за образец его темпа, композиции и визуальной подачи, а затем заменять персонажей или товары. Отдельно можно менять выражения лиц, движения, положение камеры, фон и стиль. По заявлению Kuaishou, такие точечные правки позволяют реже перезапускать генерацию при подготовке вариантов рекламы и контента для соцсетей.
Компания заявляет о поддержке китайского, английского, японского, корейского, испанского, португальского, немецкого, французского и хинди, а также ряда диалектов и акцентов. Вывод в 4K и 1080p с 10-битным расширенным динамическим диапазоном, продление загруженного видео до двух минут и доступ через программный интерфейс для разработчиков должны появиться позднее.
По отдельным параметрам Kling 4.0 уступает Seedance 2.5: Jiemian пишет, что конкурирующая модель принимает до 50 материалов-образцов против 15 у Kling и уже поддерживает 30-секундную генерацию, синхронный звук и 10-битный цвет. В сравнении The Decoder Kling 4.0 также не опередила Seedance 2.5 и Wan 3.0 по логике смены кадров, физике объектов и естественности диалогов.
Ускоренная версия Kling 4.0 Flash стала доступна подписчикам Ultra Yearly ещё 28 сентября. Она рассчитана на более быструю генерацию при меньшей стоимости, но ограничена разрешением 720p и длительностью видео до 20 секунд.