Китайская Alibaba представила обновлённую модель для генерации видео, она получила название HappyHorse 1.1. Сообщается, что система стала лучше справляться с движением в кадре, точнее понимает команды пользователя и формирует более естественную картинку.
Как и раньше, модель умеет создавать видеоклипы длительностью от 3 до 15 секунд. Поддерживается качество вплоть до Full HD, соотношение сторон может быть любым. Разработчики переработали алгоритмы движения, поэтому персонажи и объекты ведут себя в кадре естественнее. Модель также стабильнее удерживает внешний вид героя или товара на протяжении всего ролика.
Система точнее разбирает сложные текстовые описания. Отдельно доработали работу с лицами: нейросеть формирует кожу без эффекта «пластика» и «масла». Улучшена и синхронизация звука с движением губ, а фоновые шумы и музыка подбираются более осмысленно, пишет Ferra.ru.
Ключевые факты
Alibaba выпустила обновлённую модель для генерации видео под названием HappyHorse 1.1.
Модель, как и предыдущая версия, генерирует клипы длительностью от 3 до 15 секунд в качестве до Full HD и с любым соотношением сторон.
В HappyHorse 1.1 переработаны алгоритмы движения: персонажи и предметы должны выглядеть более естественно и лучше сохранять образ героя или товара на протяжении ролика.
Нейросеть стала лучше понимать сложные текстовые описания, улучшила качество лиц и синхронизацию звука с движениями губ, а также подбор фоновых шумов и музыки.