К содержанию
hegai.media
Новости

Кернелы Helion интегрировали в vLLM для инференса FP8 на моделях Qwen3

Кернелы Helion интегрировали в vLLM для инференса FP8 с моделями семейства Qwen3; тесты проводили на GPU NVIDIA H100 и B200. Эксперименты показали, что Helion позволяет выстроить PyTorch-native процесс разработки объединённых GPU‑кернелов и ускоряет ряд кернелов инференса, связанных с квантованием, нормализацией и операциями fusion. Сквозные бенчмарки также зафиксировали рост пропускной способности в нескольких сценариях сервинга. Параллельно продолжается оптимизация производительности GEMM для GPU Blackwell.

vLLM, высокопроизводительный фреймворк для инференса и сервинга LLM. Его часто используют в production‑сценариях благодаря высокой пропускной способности, эффективному управлению KV-cache и архитектуре continuous batching. Платформа поддерживает функции инференса, включая speculative decoding, quantization и distributed serving. Внутри vLLM используются пользовательские GPU‑кернелы, fusion в TorchInductor и оптимизированные GEMM‑бэкенды, например CUTLASS и DeepGEMM.

Helion, PyTorch-native аппаратно-независимый DSL для написания высокопроизводительных кернелов на основе модели tile‑programming. Синтаксис близок к PyTorch, но при этом разработчик сохраняет контроль над размещением памяти, стратегией tiling и планированием кернелов. В эксперименте исследователи сосредоточились на инференсе без tensor parallelism для моделей Qwen3 с включённым FP8 activation quantization. Почти все кернелы прямого прохода в квантованном инференсе заменили на реализации Helion, после чего сравнили результаты как на уровне отдельных кернелов, так и на уровне полного сервинга.

Ключевые факты

  • Helion kernels интегрированы в vLLM для FP8‑инференса с использованием моделей семейства Qwen3 и протестированы на GPU NVIDIA H100 и B200.

  • В эксперименте почти все kernel‑ы прямого прохода для квантованного инференса в vLLM были заменены на реализации Helion и протестированы как на уровне kernel‑ов, так и на уровне end‑to‑end сервинга.

  • End‑to‑end бенчмарки показали рост throughput в нескольких сценариях сервинга.

  • Helion описывается как PyTorch‑native аппаратно‑агностичный DSL для написания высокопроизводительных GPU‑kernel‑ов с инфраструктурой AOT‑autotuning.