Nemotron-3-Super-120B-A12B показала точное извлечение «иглы в стоге сена» на контексте до 504K токенов на 4×3090

Гибридная модель Nemotron-3-Super-120B-A12B с архитектурой hybrid Mamba2 + periodic attention + MoE показала стабильную работу с очень длинным контекстом при локальном запуске. В тесте использовали вариант i1-Q4_K_S из imatrix GGUF (NVIDIA-Nemotron-3-Super-120B-A12B-BF16.i1-Q4_K_S.gguf) от mradermacher, файл около 71GB. Модель запускали на 4×3090 в llama.cpp-latest, она полностью размещалась в GPU, KV использовался в формате q8_0. Как сообщает r/LocalLLaMA (Reddit), система корректно находила «иглу в стоге сена» на всех проверенных глубинах, 10%, 50% и 90%, и делала это вплоть до 504,482 токенов без единого пропуска.

В бенчмарке декодирование шло со скоростью 72 tg/s на коротком контексте. По мере роста длины она постепенно снижалась: 67 tg/s на 30K, 51 tg/s на 96K, 47 tg/s на 126K, 39 tg/s на 200K, 34 tg/s на 269K и 23 tg/s на 504K токенов. Prefill оказался заметно быстрее: примерно 2080 pp/s на 30K, около 1469 pp/s на 200K и 885 pp/s на 504K. Использование видеопамяти держалось на уровне около 20GB на карту.

Такое поведение связано с устройством модели. Слои Mamba/SSM сохраняют рекуррентное состояние фиксированного размера, поэтому им не нужен растущий KV cache. Рост контекста почти не увеличивает стоимость обработки. KV задействован только в нескольких слоях внимания, всего 2 KV heads. В результате на той же системе Nemotron при 504K токенов (23 t/s) работала примерно с той же скоростью, что сопоставимая full-attention MoE-модель MiniMax-M2.7-REAP (~74GB, A10B) при 30K контекста (24.5 t/s). На «спине» 30K Nemotron показала примерно в 2.7 раза более высокую скорость декодирования.

В отдельном эксперименте со встроенными инструкциями автор заметил эффект recency bias. «Замороженный контракт», помещённый в начале длинного контекста, оказался переопределён более поздним противоречащим указанием в конце текста. Отсюда практический вывод: критические правила лучше размещать ближе к концу контекста или выносить их в системную инструкцию, а не ставить в начале длинной последовательности.