NVIDIA оптимизировала DiffusionGemma от Google DeepMind для локального запуска на RTX и DGX
Google DeepMind выпустила DiffusionGemma, экспериментальную открытую модель для очень быстрой генерации текста. NVIDIA сообщила, что оптимизировала DiffusionGemma для более быстрого запуска на NVIDIA GeForce RTX GPUs, платформе NVIDIA RTX PRO и системах NVIDIA DGX Spark, от локальных ПК до облака. Модель генерирует текст не по одному слову, а формирует сразу несколько слов параллельно, создавая целые блоки текста, что снижает задержку в задачах одного пользователя.
DiffusionGemma построена на Gemma 4, модели mixture-of-experts с 26 billion parameters, которая активирует 3.8 billion parameters за шаг и использует diffusion head вместе с архитектурой Gemma 4. Вместо последовательного предсказания токенов модель выполняет параллельную генерацию, «очищая» до 256 tokens за шаг. DiffusionGemma распространяется с open weights по лицензии Apache 2.0 и может работать полностью локально на RTX и DGX Spark без облака и без оплаты за токены. Поддержка доступна с первого дня в Hugging Face Transformers, vLLM и Unsloth.
По данным NVIDIA, модель достигает 1,000 tokens/sec на одном NVIDIA H100 Tensor Core GPU и 150 tokens/sec на NVIDIA DGX Spark. На NVIDIA DGX Station она обеспечивает fastest local inference и примерно 4x faster работу по сравнению с сопоставимой autoregressive model в том же режиме single-user. Система также может запускаться локально на NVIDIA DGX Spark deskside personal AI supercomputer с NVIDIA GB10 Grace Blackwell Superchip и 128GB unified memory, на рабочих станциях NVIDIA RTX PRO 6000 и на GeForce RTX GPUs, где поддержка llama.cpp ожидается позже. DGX Station обеспечивает до 800 tokens/sec и использует 748GB coherent memory.
Ключевые факты
Google DeepMind выпустила DiffusionGemma, экспериментальную открытую модель для быстрой генерации текста, оптимизированную NVIDIA для работы на GeForce RTX GPUs, платформе NVIDIA RTX PRO и системах NVIDIA DGX Spark.
DiffusionGemma генерирует текст параллельно и за один шаг денойзит до 256 токенов вместо последовательного предсказания по одному токену.
Модель построена на архитектуре Gemma 4, mixture-of-experts с 26 млрд параметров, из которых на каждом шаге активируется 3,8 млрд.
Производительность заявлена на уровне 1 000 токенов/с на одном NVIDIA H100 Tensor Core GPU и около 150 токенов/с на NVIDIA DGX Spark; подход обеспечивает примерно в 4 раза более высокую скорость по сравнению с сопоставимой autoregressive‑моделью.