Пользователи r/LocalLLaMA обсуждают практичность квантования Q1 и Q2 для моделей размером 100–250B
В сообществе разработчиков и энтузиастов локальных LLM обсуждают, насколько вообще практичны экстремально низкие уровни квантования, Q1 и Q2, если речь идет о запуске очень крупных моделей. Автор треда предлагает собрать реальный опыт: кто уже пробовал такие кванты в задачах агентного программирования, генерации текстов и обычного диалога.
Как сообщает r/LocalLLaMA (Reddit), участники приводят примеры больших моделей из диапазона 151–250B. Среди них DeepSeek-V4-Flash, Step-3.X-Flash, Command-a-plus-05-2026, Laguna-M.1, MiniMax-M2.X и Qwen3-235B-A22B. В категории 100–150B упоминаются GLM-4.5-Air, Qwen3.5-122B-A10B, NVIDIA-Nemotron-3-Super-120B-A12B, Mistral-Small-4-119B-2603, Devstral-2-123B-Instruct-2512, Mistral-Medium-3.5-128B и Llama-4-Scout-17B-16E-Instruct. Среди моделей меньше 100B названы Llama-3.3-70B-Instruct, Qwen3-Coder-Next и Qwen3-Next-80B-A3B.
По наблюдениям автора поста, некоторые пользователи уже уходят в более агрессивные варианты квантования. Иногда применяют Q3 и даже IQ3_XXS, если Q4 просто не помещается в доступную конфигурацию железа. Он приводит пример систем DGX/SH: там иногда запускают Q3-версии MiniMax-M2, потому что Q4 требует слишком много ресурсов.
Сам автор описывает свою текущую конфигурацию довольно скромно. Ноутбук с 8GB VRAM, поэтому для моделей малого и среднего размера, около 40B, он старается не опускаться ниже Q4. При этом в планах новая сборка с 96GB VRAM и 128GB RAM. В такой конфигурации он хочет попробовать Q1 и Q2 на очень крупных моделях, включая NVIDIA-Nemotron-3-Ultra-550B-A55B и GLM-5.X.
В обсуждении он просит других пользователей поделиться практикой: что происходит при работе с такими квантами, с какими проблемами сталкиваются. В частности, интересуют случаи зацикливания, повторений или сложности с tool calling.
Ключевые факты
В обсуждении рассматриваются модели размером 100–250B, включая DeepSeek-V4-Flash, Step-3.X-Flash, Command-a-plus-05-2026, Laguna-M.1, MiniMax-M2.X и Qwen3-235B-A22B.
В диапазоне 100–150B упомянуты GLM-4.5-Air, Qwen3.5-122B-A10B, NVIDIA-Nemotron-3-Super-120B-A12B, Mistral-Small-4-119B-2603, Devstral-2-123B-Instruct-2512 и Mistral-Medium-3.5-128B.
По словам автора обсуждения, некоторые пользователи применяют квантование Q3 и даже IQ3_XXS, когда Q4 не помещается в доступную конфигурацию оборудования; в качестве примера упоминаются Q3-версии MiniMax-M2 на системах DGX/SH.
Автор поста пишет, что сейчас использует ноутбук с 8GB VRAM и не опускается ниже Q4 для моделей около 40B, а в будущей системе планирует 96GB VRAM и 128GB RAM.