NVIDIA выпустила Nemotron-Labs-TwoTower, diffusion-модель с открытыми весами на базе Nemotron-3-Nano-30B-A3B

NVIDIA представила Nemotron-Labs-TwoTower, diffusion language model, построенную на предобученной autoregressive-архитектуре Nemotron-3-Nano-30B-A3B. Модель распространяется с открытыми весами по лицензии NVIDIA Nemotron Open Model License и рассчитана на повышение пропускной способности генерации текста. Как пишет MarkTechPost, autoregressive-модели генерируют токены последовательно, из-за чего скорость вывода ограничена. Diffusion-подход, напротив, позволяет генерировать несколько токенов параллельно и затем уточнять их.

В архитектуре TwoTower функции разделены между двумя башнями: frozen AR context tower и обучаемой denoiser tower. Обе включают по 52 слоя с Mamba-2, self-attention и MoE-компонентами. Общий размер модели составляет около 60 млрд параметров, при этом для каждой башни активными на токен остаются примерно 3 млрд параметров. Denoiser tower обучалась примерно на 2,1 трлн токенов. Базовая backbone-модель до этого предварительно обучалась на 25 трлн токенов.

По данным NVIDIA, модель сохраняет 98,7% качества baseline AR-модели, а throughput генерации увеличивается в 2,42 раза. В тестах на 2×H100 с BF16 TwoTower показала результаты, близкие к baseline на MMLU, RACE и WinoGrande. На ARC-Challenge модель получила более высокий результат: 92,66 против 91,72. При этом в задачах на код и математику, включая HumanEval, GSM8K и MATH-500, показатели оказались ниже autoregressive-варианта.