NVIDIA заявила о снижении стоимости токенов на Blackwell за счет inference-стека
NVIDIA заявила, что по мере перехода компаний от пилотных ИИ-проектов к промышленной эксплуатации главным показателем инфраструктуры становится стоимость токена: сколько полезных токенов можно получить на доллар, ватт и при заданной задержке. Как пишет NVIDIA Blog, программный inference-стек компании, разработанный вместе с GPU, CPU, сетевыми решениями и системами NVIDIA, за месяц снизил стоимость токенов для модели DeepSeek V4 на платформе Blackwell до 5 раз.
В NVIDIA объясняют результат сочетанием нескольких уровней оптимизации. Речь идет об управлении распределенным inference, autoscaling и памятью, runtime-оптимизациях, а также доступе к возможностям GPU и сетевой инфраструктуры. В компании также утверждают, что комбинация disaggregated serving, large expert parallelism через NVIDIA NVLink, NVFP4 precision и multi-token prediction способна увеличить throughput до 20 раз.
Этот стек уже используют несколько компаний в рабочих сценариях. Baseten применила библиотеку NVIDIA TensorRT-LLM для обслуживания DeepSeek V4 Pro на Blackwell GPU и сообщила о росте производительности до 50% по числу токенов в секунду. Cognition использует NVIDIA Dynamo для управления inference-GPU в задачах reinforcement learning. Deep Infra и Together AI, в свою очередь, задействуют стек NVIDIA для запуска open source-моделей и production-сервисов на Blackwell, включая DeepSeek V4 и инфраструктуру для Cursor.
Ключевые факты
NVIDIA заявила о снижении стоимости токенов для DeepSeek V4 на платформе Blackwell до 5 раз за один месяц
Baseten сообщила о росте производительности до 50% по числу токенов в секунду при использовании NVIDIA TensorRT-LLM
NVIDIA утверждает, что сочетание disaggregated serving, NVLink, NVFP4 precision и multi-token prediction может увеличить throughput до 20 раз
Cognition использует NVIDIA Dynamo для управления inference-GPU в задачах reinforcement learning
Вопросы и ответы
- За счет чего NVIDIA обещает снизить стоимость токенов на Blackwell до 5 раз?
Компания связывает снижение стоимости с inference-стеком, который оптимизирует распределенный inference, autoscaling, память и runtime, а также использует возможности GPU и сетевой инфраструктуры Blackwell. Дополнительно NVIDIA заявляет, что сочетание disaggregated serving, NVLink, NVFP4 precision и multi-token prediction может увеличить throughput до 20 раз.
- Есть ли уже реальные кейсы использования этого стека в production, а не только тесты NVIDIA?
Baseten использует NVIDIA TensorRT-LLM для обслуживания DeepSeek V4 Pro на Blackwell GPU и сообщила о росте производительности до 50% по числу токенов в секунду. Deep Infra и Together AI применяют стек NVIDIA для запуска open source-моделей и production-сервисов на Blackwell, включая DeepSeek V4 и инфраструктуру для Cursor.
- Кого это касается на практике: только разработчиков моделей или и операторов AI-инфраструктуры?
NVIDIA прямо фокусируется на компаниях, которые переходят от пилотов к промышленной эксплуатации ИИ, где критична стоимость токена на доллар, ватт и задержку. Cognition уже использует NVIDIA Dynamo для управления inference-GPU в reinforcement learning-задачах, то есть стек ориентирован и на операторов inference-инфраструктуры.
Контекст по теме
- Kari Briski: как Nvidia готовится к росту агентных систем ИИ19 июня 2026 г.
- Локальный ИИ вместо облака: два mini‑PC обрабатывают миллионы токенов в день и снижают расходы на API19 июня 2026 г.
- Компании ищут способы снизить расходы на AI из‑за стремительного роста потребления токенов18 июня 2026 г.
- NVIDIA и Dell представили инфраструктуру для agentic AI на базе Vera Rubin NVL729 июня 2026 г.