Nvidia на GTC 2026: снижение числа diffusion‑шагов и оптимизация стека ускоряют генерацию видео
На конференции GTC 2026 в Сан‑Хосе исследователь Nvidia Ziv Ilan из команды AI Labs в Париже представил доклад «You Might Not Need 50 Diffusion Steps». В нём он предложил по‑другому посмотреть на производительность генеративного видео. Вместо создания ещё более крупной модели он предлагает считать число diffusion‑шагов инженерным параметром и оптимизировать весь стек инференса. Как пишет Towards AI, комбинация трёх подходов, quantization, caching и distillation, может работать как единая система и в сумме приближает генерацию видео к режиму реального времени на одном GPU.
В diffusion‑моделях изображение или видео появляется постепенно, через последовательное «очищение» шума. Производственные системы обычно используют от 20 до 50 шагов денойзинга. Каждый шаг фактически означает полный проход через модель, а современные видео‑архитектуры могут включать от 20 до 40 миллиардов параметров. Вычислительная стоимость быстро растёт. Например, генерация изображения размером 1,328 x 1,328 в Qwen-Image требует около 12,900 TFLOPs и может занимать до 127 секунд на GPU Nvidia H20. С видео нагрузка увеличивается ещё сильнее из‑за требований к согласованности кадров и временной когерентности. Поэтому даже архитектурно готовые системы, такие как Adobe Firefly для генерации видео, до оптимизаций сталкивались с серьёзными коммерческими ограничениями.
Одним из ключевых элементов предложенного стека стала quantization. Это снижение точности вычислений весов и активаций с 16‑ или 32‑битных форматов до более компактных, например INT8, FP8 и FP4. Однако diffusion‑модели сильнее чувствительны к потере точности. Причина в активном использовании multi‑head attention в трансформерных архитектурах DiT. Из‑за этого простые схемы, которые применяют в LLM, могут заметно ухудшать качество даже при INT8. В совместной работе Nvidia и Black Forest Labs над Flux 2 используется динамическая квантование. Диапазон активаций рассчитывается на лету для каждого батча, а не фиксируется заранее, как это происходит в статической схеме.
Важна и аппаратная часть. Архитектура Nvidia Blackwell получила поддержку формата NVFP4, это 4‑битное представление с выделенными FP4 tensor cores. Такая схема дополнительно ускоряет вычисления при инференсе diffusion‑моделей.
Ключевые факты
На GTC 2026 в Сан‑Хосе исследователь Nvidia Ziv Ilan из AI Labs в Париже выступил с 20‑минутным докладом «You Might Not Need 50 Diffusion Steps».
Стандартные production‑модели диффузии используют от 20 до 50 шагов денойзинга, при этом современные архитектуры видео‑диффузии могут иметь от 20 до 40 млрд параметров.
Генерация изображения 1,328 × 1,328 в модели Qwen‑Image требует около 12,900 TFLOPs вычислений и может занимать до 127 секунд на GPU Nvidia H20.
Подход Nvidia объединяет quantization, caching и distillation в единый стек оптимизации инференса; в сотрудничестве с Black Forest Labs для Flux 2 используется динамическая квантизация, а архитектура Blackwell добавляет поддержку формата NVFP4 (4‑битный floating point).