Запуск Qwen3.6-35B-A3B на одной RTX 3090: сравнение…

Почему это важно

Материал показывает, что производительность и качество крупных моделей можно существенно оптимизировать на потребительском GPU за счет выбора форков движка, квантования и настроек KV‑кэша. Это сигнализирует о продолжающемся тренде смещения части практических LLM‑нагрузок с облака на локальное оборудование. Для команд, работающих с длинным контекстом и агентными сценариями, такие оптимизации могут означать более дешевую и управляемую инфраструктуру.

Энтузиаст проверил разные конфигурации для запуска модели Qwen3.6-35B-A3B на видеокарте RTX 3090. Цель была простой: получить максимально возможное качество без заметной потери скорости и удержать контекст не меньше 128k токенов. Для экспериментов он взял два форка llama.cpp, ik_llama и fork от spiritbuun. Тестировались и две версии APEX‑модели, I-Compact и I-Quality.

При контексте 128k связка ik_llama с I-Compact и KV‑кэшем q8_0 / q5_0 показала около ~146 decode_TPS, одинаково в задачах Narrative и Code. Конфигурация на базе форка spiritbuun с I-Compact и turbo8 / turbo4 дала ~142 и ~141 соответственно. Если брать I-Quality, результаты оказались примерно ~137 / ~137. Такие значения получились и в spiritbuun (turbo8 / turbo4), и в ik_llama (q8_0 / q5_0), пишет r/LocalLLaMA (Reddit).

Качество оценивали через официальные бенчмарки APEX для Qwen3.5-35B-A3B, потому что данных именно для версии 3.6 автор не нашёл. В таблице BF16 (reference) занимает 64.6 GB памяти и показывает perplexity 6.537 и HellaSwag 82.5% при скорости 30.4 tg128 (t/s). APEX I-Quality требует 21.3 GB, perplexity 6.552, KL mean 0.0102, KL max 5.59 и HellaSwag 83.5% при 62.3 tg128 (t/s). UD-Q4_K_XL занимает 20.7 GB, perplexity 6.554, KL mean 0.0097, KL max 3.14 и HellaSwag 83.0% при 58.1 tg128 (t/s). APEX I-Compact использует около ~17 GB, perplexity 6.857, KL mean 0.0451, KL max 8.76 и HellaSwag 83.5%. Отдельно отмечается разница по скорости: I-Quality примерно на ~7% быстрее UD-Q4_K_XL (62.3 против 58.1 t/s) и при этом показывает немного более высокий результат HellaSwag.

Автор также разобрал новый кодек KV‑кэша turbo8 из форка spiritbuun. В опубликованных им бенчмарках при сравнении с q8_0 он стабильно выходит быстрее и показывает более низкий mean KLD. При ctx 2048 скорость 31.34 tg/s (+1.9%) и KLD 0.007717 (-12%). При 8192 получается 30.22 (+3.6%) и 0.009450 (-8%). Для 16384 значения 29.40 (+6.7%) и 0.005235 (-14%), а при 32768 28.06 (+15%) и 0.003594 (-8%). Для более сбалансированной работы предлагается асимметричная схема: turbo8 для Keys и turbo4 для Values. У форка spiritbuun есть ещё одно условие. Нужно применить PR #72, потому что ранее добавленный "fast-path" ломал CUDA graph capture во время prefill и вызывал регрессию prompt eval примерно на ~38%.

Во время тестов автор отдельно проверил MTP (Multi-Token Prediction). В его конфигурации вариант модели I-Quality с MTP, но с отключённой функцией MTP, оказался быстрее, чем при её включении. По наблюдениям, для небольших MoE‑моделей дополнительная логика MTP иногда работает во вред. Пики скорости действительно появляются, но чаще падает скорость prefill и нередко замедляется генерация.

Ключевые факты

В тестах с контекстом 128k модель Qwen3.6-35B-A3B APEX I-Compact показала скорость генерации около 146 токенов/с в ik_llama (KV cache q8_0 / q5_0) и около 142–141 токенов/с в форке spiritbuun (turbo8 / turbo4).

По официальным бенчмаркам APEX для Qwen3.5-35B-A3B: APEX I-Quality имеет perplexity 6.552, HellaSwag 83.5% и скорость 62.3 t/s, тогда как UD-Q4_K_XL, perplexity 6.554, HellaSwag 83.0% и 58.1 t/s.

APEX I-Compact занимает около 17 GB и достигает HellaSwag 83.5%, при этом позволяет увеличивать контекст до 256k без OOM.

Бенчмарки turbo8 KV cache показывают прирост скорости относительно q8_0 от +1.9% при контексте 2048 до +15% при 32768 токенах при одновременном снижении mean KLD (например 0.003594 против более высокого значения у q8_0 на 32768).