Исследователь под ником lucidml_lover показал прототип нейросети, которая превращает изображение в интерактивную игровую сцену и реагирует на действия пользователя в реальном времени. Как сообщает r/StableDiffusion (Reddit), цель проекта приблизиться к моделям, способным симулировать игры и при этом работать на обычном пользовательском оборудовании, а не в дата-центрах, как это часто бывает с крупными видеогенераторами.
Модель обучена с нуля, без дополнительного fine-tuning. Её основной denoiser представляет собой небольшую Transformer-подобную сеть, работающую в каузальном режиме, похожем на LLMs. За счёт этого можно использовать KV Cache для всей ранее полученной информации и выполнять простые авторегрессионные проходы декодирования для каждого нового кадра.
В показанном видео используется версия модели на 0.5B параметров, запущенная на RTX 5090. Она принимает нажатия клавиш в реальном времени и учитывает их во время вычислений. Автор при этом указывает на несколько заметных проблем текущей версии: слабая передача движения, странные вспышки и ошибки контекста. Кроме того, в модели не используется classifier free guidance.
Сейчас обучается следующая итерация, вариант на 0.8B параметров. По словам автора, процесс идёт неудачно. Квантование пока не применялось, вычисления выполняются в bf16, из-за чего работа идёт медленнее. Автор предполагает, что квантование может значительно ускорить систему.
Ключевые факты
Демонстрационное видео работы модели запущено на видеокарте RTX 5090.
Показанная версия модели имеет размер 0.5B параметров и демонстрирует проблемы с движением, вспышками и контекстом.
Модель описана как небольшой Transformer‑подобный каузальный нейросетевой денойзер, использующий KV Cache и авторегрессионный декодинг для генерации новых кадров.
Автор сообщает, что обучает следующую итерацию модели размером 0.8B параметров и пока не применял к текущей версии квантизацию; используется bf16.