NVIDIA представила языковую модель Nemotron-TwoTower-30B-A3B-Base-BF16. Она построена на базе Nemotron 3 Nano 30B-A3B и использует диффузионный подход к генерации текста. Ключевая особенность, архитектура из двух «башен».
Вместо строгой последовательной генерации по одному токену система объединяет два компонента: замороженную autoregressive context tower и diffusion denoiser tower. В этой схеме диффузионный денойзер заполняет блоки токенов итеративно и делает это параллельно, а не по одному.
Как сообщает r/LocalLLaMA (Reddit), в стандартной конфигурации mask-diffusion модель сохраняет 98.7% совокупного качества бенчмарков относительно autoregressive baseline. При этом она достигает 2.42× по wall-clock generation throughput.
Ключевые факты
NVIDIA выпустила языковую модель Nemotron-TwoTower-30B-A3B-Base-BF16, построенную на базе Nemotron 3 Nano 30B-A3B.
Модель использует архитектуру с двумя башнями: замороженную авторегрессионную context tower и diffusion denoiser tower, которая итеративно заполняет блоки токенов параллельно.
По данным NVIDIA, стандартная конфигурация mask-diffusion сохраняет 98.7% совокупного качества бенчмарков по сравнению с авторегрессионным baseline.
Та же конфигурация достигает 2.42× большей wall-clock скорости генерации по сравнению с авторегрессионным baseline.