Пользователь поделился результатами практических тестов модели Gemma 4 26B в низкой квантизации на ноутбуке M3 16gb MacBook Air. По его словам, используемый quant даёт скорость декодирования около 25 tokens per second и по качеству в его сценариях оказывается близок к bf16.
Тесты проводились на задачах без coding и без tool calling. В таких условиях, как отмечает автор, разница между bf16 и выбранным quant получается небольшой, при этом модель остаётся достаточно удобной в работе.
Как пишет r/LocalLLaMA (Reddit), сам автор обсуждения не исключает, что впечатление может быть связано с confirmation bias. При этом он допускает и другую возможность: UD Q3 quants в целом могут оказываться неожиданно качественными. Отдельно он поблагодарил команду Unsloth за проделанную работу.
Ключевые факты
Пользователь тестирует низкобитные квантизации модели Gemma 4 26B на MacBook Air с чипом M3 и 16 ГБ памяти.
Квантизированная модель показывает скорость декодирования около 25 токенов в секунду.
По субъективной оценке автора, производительность такой квантизации близка к bf16 для задач без кодинга и без tool calling.
В заголовке и тексте обсуждается применимость квантизаций IQ3_S и UD Q3 для Gemma 4 26B.