Новости

SGLang ускорил обслуживание DeepSeek-V4 на NVIDIA GB300 до ~11 200 tok/s/GPU

Обновлено: 27 июня 2026 г.

Почему это важно

Показатели указывают, что оптимизация инфраструктуры инференса может существенно менять экономику эксплуатации моделей без изменения самой модели. Для компаний, разворачивающих большие модели, это сигнал, что производительность и стабильность сервинга могут заметно улучшаться за счёт программного стека и конфигураций, а не только за счёт нового железа. Это укладывается в тренд активной конкуренции на уровне системного софта вокруг LLM‑инфраструктуры.

Поддержка модели DeepSeek-V4 в SGLang появилась в день запуска. Но стартовая конфигурация была лишь базой, от которой начали двигаться дальше. Как сообщает PyTorch Blog, после релиза команда постепенно усиливала систему: дорабатывали ядро, рантайм и общую устойчивость. В результате появились MHC fusion и token-bucket prewarm, KV Compression V2, W4A4 MegaMoE, более жесткие механизмы SWA budgeting и eviction. Также улучшили disaggregated decode admission, добавили поддержку breakable CUDA graph в prefill-пути DeepSeek-V4 и исправили ошибки в SGLang и Dynamo.

По данным публичной панели SemiAnalysis InferenceX для конфигурации GB300 disaggregated (DeepSeek-V4 Pro, FP4, ISL=8192, OSL=1024, dynamo-sglang), к июню 2026 года кривая MTP достигла примерно 11 200 tok/s/GPU при около 50 tok/s/user. Для сравнения, в апреле 2026 года кривая Day-0 без MTP находилась примерно на уровне 2 200 tok/s/GPU. Пропускная способность выросла примерно в пять раз при той же пользовательской интерактивности.

На линии NVIDIA GB300 Disaggregated 8K/1K рост виден по всему диапазону интерактивности. Поднялись и кривые no-MTP, и MTP. Если на Day-0 производительность резко проседала после примерно 40 tok/s/user, то июньские результаты держатся заметно стабильнее. При 40 tok/s/user throughput выше в 2.1 раза для no-MTP. При 80 tok/s/user прирост для MTP составляет 2.6 раза.

Похожие сдвиги видны и на NVIDIA Blackwell Ultra Aggregated 8K/1K. Здесь throughput увеличился в 2.91 раза при 30 tok/s/user для no-MTP и в 2.85 раза при 90 tok/s/user для MTP. Пиковая производительность no-MTP выросла более чем в шесть раз относительно Day-0. В ранней конфигурации применялся fallback-рецепт с TP-only execution, без DP attention и speculative decoding, а также с более узким search space. Позднее система перешла на более сильное семейство рецептов. Улучшился recipe-per-concurrency dispatch, стабилизировались batch-размеры на decode worker, а путь FP4/MoE стал более зрелым.

Ключевые факты

В бенчмарке SemiAnalysis InferenceX для NVIDIA GB300 (DeepSeek‑V4 Pro, FP4, ISL=8192, OSL=1024, dynamo-sglang) в июне 2026 достигнуто около 11 200 tok/s/GPU при примерно 50 tok/s/user против около 2 200 tok/s/GPU на Day‑0 в апреле 2026.
Это соответствует примерно 5‑кратному росту пропускной способности при той же пользовательской интерактивности.
На NVIDIA GB300 disaggregated кривые производительности теперь удерживают пропускную способность глубже в зоне высокой интерактивности: при 40 tok/s/user throughput выше в 2.1 раза (no‑MTP) и при 80 tok/s/user, в 2.6 раза (MTP) относительно Day‑0.
На NVIDIA Blackwell Ultra aggregated throughput вырос в 2.91 раза при 30 tok/s/user (no‑MTP) и в 2.85 раза при 90 tok/s/user (MTP), а пиковый no‑MTP throughput стал более чем в 6 раз выше по сравнению с кривой Day‑0.