Google выпустила модель с открытыми весами DiffusionGemma на базе исследований Gemini Diffusion
В мае Google ненадолго опубликовала экспериментальную модель Gemini Diffusion. Автор Simon Willison протестировал предварительную версию и зафиксировал скорость работы на уровне 857 tokens/second. После этого компания больше ничего не сообщала о проекте.
Теперь работа над этой идеей вернулась в другом виде: появилась модель Gemma с открытыми весами (лицензия Apache 2) под названием google/diffusiongemma-26B-A4B-it. Сейчас модель бесплатно размещена NVIDIA в их NIM cloud API.
Через этот API автор запустил пример с pelican. Генерация заняла 4.4s (по измерению time uv run generate.py) и вернула 2,409 tokens. Это соответствует как минимум 500 tokens/second.
Ключевые факты
Google выпустила модель с открытыми весами google/diffusiongemma-26B-A4B-it под лицензией Apache 2.
В мае Google кратко показывала экспериментальную модель Gemini Diffusion; в тесте предпросмотра была зафиксирована скорость 857 tokens/second.
NVIDIA размещает модель DiffusionGemma бесплатно через свой NIM cloud API.
При генерации 2,409 токенов через NIM API ответ был получен за 4.4 секунды, что соответствует не менее чем 500 tokens/second.