«Сбер» опубликовал экспериментальную модель GFusion с диффузионным подходом к генерации текста

«Сбер» открыл доступ к весам экспериментальной языковой модели GFusion. Она генерирует текст не последовательно, а сначала формирует структуру ответа, после чего несколько раз заменяет случайные элементы на более подходящие. Как пишет SecurityLab (by Positive Technologies), опубликованы версии GFusion-10B-A1.8B-base и GFusion-10B-A1.8B.

GFusion построена на базе GigaChat 3 с использованием диффузионного метода, который обычно применяют для генерации изображений. В отличие от привычных языковых моделей, добавляющих токены слева направо, GFusion работает сразу с целым фрагментом текста. Сейчас модель обрабатывает блоки по 32 токена, это примерно одно короткое предложение.

Во внутренних тестах «Сбера» GFusion генерировала текст на 45% быстрее GigaChat 3, хотя качество ответов снижалось на 2–4 процентных пункта. В материале также упоминается экспериментальная модель Google DiffusionGemma, представленная в июне. Она использует похожий принцип работы и создаёт блоки до 256 токенов параллельно. По данным компании, модель генерирует текст и простой код в четыре раза быстрее, но в остальных испытаниях уступает Gemma 4 26B.