Google DeepMind выпустила DiffusionGemma, экспериментальную открытую модель для очень быстрой генерации текста. NVIDIA сообщила, что оптимизировала DiffusionGemma для более быстрого запуска на NVIDIA GeForce RTX GPUs, платформе NVIDIA RTX PRO и системах NVIDIA DGX Spark, от локальных ПК до облака. Модель генерирует текст не по одному слову, а формирует сразу несколько слов параллельно, создавая целые блоки текста, что снижает задержку в задачах одного пользователя.
DiffusionGemma построена на Gemma 4, модели mixture-of-experts с 26 billion parameters, которая активирует 3.8 billion parameters за шаг и использует diffusion head вместе с архитектурой Gemma 4. Вместо последовательного предсказания токенов модель выполняет параллельную генерацию, «очищая» до 256 tokens за шаг. DiffusionGemma распространяется с open weights по лицензии Apache 2.0 и может работать полностью локально на RTX и DGX Spark без облака и без оплаты за токены. Поддержка доступна с первого дня в Hugging Face Transformers, vLLM и Unsloth.
По данным NVIDIA, модель достигает 1,000 tokens/sec на одном NVIDIA H100 Tensor Core GPU и 150 tokens/sec на NVIDIA DGX Spark. На NVIDIA DGX Station она обеспечивает fastest local inference и примерно 4x faster работу по сравнению с сопоставимой autoregressive model в том же режиме single-user. Система также может запускаться локально на NVIDIA DGX Spark deskside personal AI supercomputer с NVIDIA GB10 Grace Blackwell Superchip и 128GB unified memory, на рабочих станциях NVIDIA RTX PRO 6000 и на GeForce RTX GPUs, где поддержка llama.cpp ожидается позже. DGX Station обеспечивает до 800 tokens/sec и использует 748GB coherent memory.
Ключевые факты
Google DeepMind выпустила DiffusionGemma, экспериментальную открытую модель для быстрой генерации текста, оптимизированную NVIDIA для работы на GeForce RTX GPUs, платформе NVIDIA RTX PRO и системах NVIDIA DGX Spark.
DiffusionGemma генерирует текст параллельно и за один шаг денойзит до 256 токенов вместо последовательного предсказания по одному токену.
Модель построена на архитектуре Gemma 4, mixture-of-experts с 26 млрд параметров, из которых на каждом шаге активируется 3,8 млрд.
Производительность заявлена на уровне 1 000 токенов/с на одном NVIDIA H100 Tensor Core GPU и около 150 токенов/с на NVIDIA DGX Spark; подход обеспечивает примерно в 4 раза более высокую скорость по сравнению с сопоставимой autoregressive‑моделью.