Apple опубликовала официальную реализацию FastFrames-S на 1,3 млрд параметров и FastFrames-L на 14 млрд. По замерам авторов, младшая модель генерирует кадр за 36 мс на одном серверном ускорителе Nvidia B200, старшая — за 45 мс на узле с восемью B200.
FastFrames относится к авторегрессионным диффузионным моделям: каждый следующий кадр создаётся с учётом предыдущих кадров и новых команд. Это позволяет менять направление виртуальной камеры или другие условия во время генерации, не дожидаясь завершения всего ролика.
Исследователи ускорили не только создание изображения. При разборе существующих моделей они выяснили, что декодирование внутреннего представления в кадр и обновление памяти о предыдущих кадрах занимают больше половины общего времени. В FastFrames эти компоненты заменили облегчённым пиксельным декодером и небольшой сетью для обновления памяти.
Читайте также
Обе модели выводят видео размером 832 × 480 пикселей. Стандартный пример состоит из 81 кадра при 16 кадрах в секунду — это около пяти секунд. Заявленные 36 и 45 мс относятся к вычислению очередного кадра на указанном серверном оборудовании, а не к полной задержке между командой пользователя и реакцией системы и не к частоте воспроизведения ролика.
В официальном профиле FastFrames-L доступны реализация, инструкции, контрольные точки обучения, примеры и интерактивное демо. Для запуска требуется компьютер с Linux x86-64, видеокартой Nvidia и драйвером с поддержкой CUDA 12.8. Минимальная модель видеокарты не названа, а результатов на потребительских ускорителях авторы не приводят.
В релиз также включили оптимизированную LingBot 1.3B — модель управляемой виртуальной среды. Apple заявляет, что её версия работает в 16 раз быстрее исходной и позволяет плавно управлять камерой. Официальная демонстрация сопоставляет одну сцену в обычной LingBot и после оптимизации FastFrames.
Код FastFrames распространяется по Apple Sample Code License. Для кода и весов LingBot действует CC BY-NC-SA 4.0, которая не разрешает коммерческое использование. Скорость и качество пока подтверждены только измерениями авторов работы; независимых тестов, включая проверки на обычных видеокартах, в опубликованных материалах нет.
