Google использует модель Diffusiongemma, чтобы ускорить работу Gemma 4. Подход опирается на технику генерации изображений: её адаптировали для обработки токенов.
Diffusiongemma создаёт сразу множество токенов параллельно. LLM применяет diffusion, благодаря этому эффективнее задействуется локальное оборудование.
У метода есть и компромисс: точность модели снижается.
Ключевые факты
Google представила Diffusiongemma, модель, ускоряющую Gemma 4 с использованием техники диффузии, применяемой для генерации изображений.
Diffusiongemma генерирует множество токенов параллельно, а не последовательно.
LLM использует диффузию, что позволяет лучше загружать локальное оборудование.
При использовании диффузии модель оказывается менее точной.