GLM-5.2 в 4‑битной квантизации запустили на кластере из 4 DGX Spark с контекстом 128K

Энтузиасты продемонстрировали рабочий запуск модели GLM-5.2 в 4-битной квантизации NVFP4 на кластере из четырех узлов DGX Spark. Как сообщает r/LocalLLaMA (Reddit), эту конфигурацию уже используют как полноценную точку сервинга, а не как разовую демонстрацию запуска. Система поддерживает контекст 128K. При декодировании коротких запросов она выдает около 15-16 токенов в секунду, на длинном контексте скорость держится примерно на уровне 13 токенов в секунду.

В модели применяется смешанная схема точности. FFN-эксперты в архитектуре MoE (routed и shared) квантизированы до NVFP4, тогда как блоки attention (MLA и индексатор DSA), router и LM head работают в BF16. Автор конфигурации пишет, что благодаря этому размер чекпойнта сократился с 1.5 TB до 410 GB, то есть примерно в 3.7 раза. При этом точность на GSM8K остается близкой к версии BF16, разница держится примерно в пределах 2 пунктов.

Аппаратная часть состоит из четырех стандартных узлов nVidia GB10 DGX Spark, соединенных через Microtik RoCE-коммутатор. Для размещения модели используются параллелизм декодирования контекста и оптимизации памяти системы и Ray. Схема DCP4 распределяет контекст декодирования между четырьмя TP-рангами, благодаря чему удается поддерживать контекст 128K. Для ускорения генерации применяется механизм MTP1.

В опубликованных результатах указано, что система обрабатывает префилл примерно на уровне 512 токенов в секунду и поддерживает максимальную длину модели 131 072 токена (при 132 096 токенах в KV-кэше). Авторы подчеркивают, что конфигурация пока экспериментальная и «хакерская», но уже подходит для реального сервинга.