Диффузионные модели в последние годы показали заметные результаты в синтезе изображений. Постепенно исследователи начали переносить этот подход на более сложную задачу, генерацию видео.
Видео можно рассматривать как обобщение изображения: по сути, одно изображение, это видео из одного кадра. Но на практике задача гораздо сложнее. Модели нужно поддерживать временную согласованность между кадрами, а для этого ей приходится хранить и использовать значительно больше знаний о мире.
Есть и другая проблема, связанная с данными. Если сравнивать с текстами или изображениями, собрать большие объёмы качественного видео гораздо труднее. Особенно это касается высокоразмерных данных и пар формата текст‑видео.
Ключевые факты
Diffusion models в последние годы показали сильные результаты в задачах синтеза изображений.
Исследовательское сообщество начало применять diffusion models к более сложной задаче, генерации видео.
В материале отмечается, что изображение можно рассматривать как видео из 1 кадра, тогда как генерация видео требует временной согласованности между кадрами.
Сбор больших объемов высококачественных высокоразмерных видеоданных и пар текст‑видео описывается как более сложная задача, чем сбор данных для текста или изображений.