Как запускать крупные LLM на видеокартах с 4–12 ГБ VRAM: практические приёмы локального инференса
В 2025–2026 годах разрыв между требованиями к мощному оборудованию и возможностями обычных пользовательских систем заметно сократился. Как пишет Towards AI, локальный запуск LLM теперь возможен даже на конфигурациях с 4–12 ГБ VRAM. Среди примеров упоминаются 6 ГБ GTX 1660 Ti, 8 или 12 ГБ RTX 3060, 8 ГБ RTX 4060, а также большинство M‑series Mac с 8–16 ГБ unified RAM и многие ноутбучные GPU последних шести лет. В материале описан запуск модели Mixture-of-Experts размером 35B на игровом ноутбуке 2019 года с GTX 1660 Ti и 6 ГБ VRAM. В такой конфигурации система выдает 28 tokens per second при полном контекстном окне 128K.
Одной из причин стали MoE‑модели с небольшим числом активных параметров. В качестве примера приводится Qwen3.6 35B-A3B. При 35 billion общих параметров активными на каждый токен остаются примерно 3 billion. Маршрутизатор выбирает лишь небольшую группу экспертов, поэтому фактическая вычислительная нагрузка ближе к плотной модели примерно на 3B параметров. При правильном размещении тензоров модель 35B-A3B может поместиться в 6 ГБ VRAM, тогда как плотной 35B‑модели еще несколько лет назад требовалось минимум 24 ГБ.
Для MoE применяется особая схема размещения тензоров в llama.cpp с флагом --n-cpu-moe. Внимание и общие тензоры остаются на GPU, а тензоры экспертов переносятся в системную память. В примере с квантованием Q4_K_M параметры внимания и общие веса занимают менее 5 ГБ VRAM, при этом веса экспертов занимают около 16 ГБ в RAM на системе с 32 ГБ памяти. Отдельно обсуждается квантование KV cache ниже уровня q8_0, что особенно важно при контексте 128K. Также упоминаются форматы q5_1, q5_0, q4_1, q4_0 и iq4_nl, доступные в CUDA backend llama.cpp с PR #7527. В форке Turboquant используются форматы turbo4 для keys и turbo3 для values, где кодовая книга оптимизирована под распределения тензоров внимания.
Ключевые факты
В качестве примера описан запуск модели Mixture-of-Experts на 35 млрд параметров со скоростью 28 токенов в секунду и контекстным окном 128K на игровом ноутбуке 2019 года с GTX 1660 Ti и 6 ГБ VRAM.
Под «GPU-poor» в материале понимаются потребительские системы с 4–12 ГБ VRAM, включая такие карты, как 6 ГБ GTX 1660 Ti, 8 или 12 ГБ RTX 3060 и 8 ГБ RTX 4060.
Модель Qwen3.6 35B-A3B имеет 35 млрд общих параметров, но около 3 млрд активных на токен благодаря архитектуре Mixture-of-Experts.
При использовании флага --n-cpu-moe в llama.cpp внимание и общие веса занимают менее 5 ГБ VRAM, а веса экспертов размещаются в системной памяти и занимают около 16 ГБ при наличии 32 ГБ RAM.