Энтузиаст ускорил GLM5.2 с 2.5 до более чем 50 tok/s на системе с Hopper H100 и Grace
Пользователь сообщества локальных моделей рассказал, как ему удалось заметно ускорить работу GLM5.2 на собственной системе с ускорителями NVIDIA Hopper. Как пишет r/LocalLLaMA (Reddit), в самом начале модель на его конфигурации выдавала примерно 2.5 tok/second в vLLM при «наивных» настройках.
Аппаратная часть выглядит так: 2x Hopper H100 с 96 GB HBM3 на каждом, 2x Grace по 72 cores и по 480 GB LPDDR5X на каждый Grace. В сумме это дает 960 GB памяти хоста. После экспериментов с NUMA производительность немного выросла, но основной прирост появился позже, когда автор вмешался в структуру самой модели.
Он объединил MTP head из репозитория zai с моделью GLM-5.2-FP8 и «телом» квантованной версии AWQ от CyanKiwi. Для сборки понадобились все веса CyanKiwi и только несколько файлов из репозитория zai, затем специальный скрипт объединяет их в одну модель. Отдельно пришлось пропатчить vLLM, чтобы он корректно работал с измененной структурой.
После этих изменений максимальная скорость выросла примерно до ~55 tok/sec при 4x concurrency. В режиме одиночного инференса, со стримингом из RAM в VRAM, получается около ~45 tok/sec.
Ключевые факты
Автор запускал GLM5.2 на системе с 2x Hopper H100 с 96 GB HBM3 на каждом, 2x Grace с 72 ядрами каждый и 480 GB LPDDR5X на каждый Grace (960 GB суммарно).
При наивных настройках через vLLM производительность составляла около 2.5 tok/s.
Автор объединил MTP head из репозитория office zai GLM-5.2-FP8 с квантованной AWQ‑версией весов из репозитория CyanKiwi и применил патч для vLLM.
После модификаций скорость выросла до примерно 55 tok/s при 4x concurrency и около 45 tok/s для одиночного инференса при стриминге из RAM в VRAM.