NVIDIA: метод DFlash Speculative Decoding повышает производительность инференса на Blackwell до 15 раз
По мере того как AI‑системы переходят от одиночных запросов к координированным мультиагентным рабочим процессам, всё заметнее становится роль инференса с низкой задержкой. В таких условиях особенно проявляются ограничения традиционных автогрессивных LLM: они генерируют токены строго по одному, последовательно.
Такая последовательная генерация приводит к тому, что GPU используется не полностью. В результате падает пропускная способность сервисов, где критична задержка ответа. При обслуживании моделей в реальном времени это легко превращается в узкое место.
Как пишет NVIDIA Technical Blog (Developer), один из способов смягчить проблему, speculative decoding. В этой схеме более лёгкая модель заранее формирует черновые варианты будущих токенов, что ускоряет генерацию. В материале отмечается, что применение DFlash Speculative Decoding на архитектуре NVIDIA Blackwell может повысить производительность инференса до 15 раз.
Ключевые факты
Метод DFlash Speculative Decoding на NVIDIA Blackwell может повышать производительность инференса до 15x.
Автoreгрессионные LLM генерируют токены последовательно, что может ограничивать загрузку GPU и пропускную способность в сценариях с чувствительной к задержке выдачей.
Speculative decoding использует облегчённую модель для чернового прогнозирования будущих токенов.