Nvidia 15 октября представила три модели семейства Nemotron 3.5 с открытыми весами. Серверная Super VL и компактная Bolt 74B-A9B уже доступны, а Bolt E4B для разговорных и встраиваемых агентов должна выйти 23 октября.
Nemotron 3.5 Super VL содержит 120 млрд параметров, из которых при обработке запроса активны 12 млрд. Мультимодальная модель работает с текстом, изображениями, документами, веб-страницами и видео, а её контекстное окно достигает 1 млн токенов.
Nvidia предназначает Super VL для постоянно работающих корпоративных агентов. Организации могут дополнительно обучать модель на собственных данных и разворачивать её в своей инфраструктуре, не передавая документы внешнему облачному провайдеру. Полноточная версия требует мощного оборудования: пример запуска в карточке модели рассчитан на четыре ускорителя H100.
Читайте также
Nemotron 3.5 Bolt 74B-A9B 24GB содержит 74 млрд параметров и использует 9 млрд одновременно. Nvidia сжала веса до двух бит, чтобы они помещались в 24 ГБ памяти и модель могла работать вместе с другими приложениями. Bolt предназначена для локальных агентов, которые используют инструменты, просматривают сайты, работают в терминале и помогают писать или отлаживать код.
Модель оптимизирована для RTX Spark и DGX Spark, но также запускается на компьютерах с GeForce RTX и рабочих станциях RTX Pro. Заявлена поддержка llama.cpp, Ollama, LM Studio, Unsloth и vLLM. Благодаря локальному развёртыванию такие задачи можно выполнять без отправки данных в облако.
В стороннем тесте Local Model Bench официальная двухбитная сборка Bolt запускалась на Mac mini с M4 Pro и не прошла ни один из девяти сценариев аудита документов по основным или строгим критериям. При этом модель извлекала реальные данные и в части заданий правильно считала суммы. Тест включал по одному запуску каждого сценария и оценивал только этот узкий набор задач.
Весовые файлы Super VL и Bolt разрешено использовать в коммерческих и некоммерческих проектах по лицензии OpenMDW 1.1. Nvidia также опубликовала наборы данных и рецепты обучения.