Новости

Вышли версии Gemma4-26B-A4B и Gemma4-31B QAT Uncensored Balanced с поддержкой MTP и ускорением генерации

Обновлено: 27 июня 2026 г.

Почему это важно

Релиз показывает, как сообщество вокруг открытых моделей активно дорабатывает Gemma 4, добавляя функции вроде MTP и снимая ограничения, при этом заявляя ускорение без потери качества. Для команд, разворачивающих модели локально через llama.cpp, такие модификации могут означать более быструю генерацию и более гибкие сценарии использования. Это также укладывается в тренд оптимизации инференса и кастомных сборок вокруг открытых LLM.

Разработчик HauhauCS представил две версии моделей: Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP и Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP. Обе входят в линейку Balanced и используют MTP (multi-token-prediction draft head для speculative decoding). Как пишет r/LocalLLaMA (Reddit), по тестам автора этот механизм ускоряет генерацию примерно на 35% у версии 26B-A4B и на 53% у 31B. При этом итоговый результат остается тем же, так как модель проверяет каждый сгенерированный токен.

Версия 26B-A4B построена по схеме MoE: 128 experts и 8 active, около ~4B active/token. Модель 31B, наоборот, плотная. Обе поддерживают контекст 262K и работу с изображениями через mmproj. Квантованная сборка Q4_K_M занимает 16.8 GB у 26B-A4B и 18.7GB у 31B. В каждом релизе есть Q4_K_M (text), mmproj для изображений, а также MTP draft head.

По описанию автора, вариант 26B-A4B рассчитан на более легкое и быстрое использование. Благодаря примерно ~4B активных параметров на токен модель может запускаться даже на относительно скромном оборудовании. Версия 31B требует больше VRAM, зато считается самой мощной из двух. Для генерации предлагаются параметры: temp=0.6, top_k=64, top_p=0.9, min_p=0.05, repeat_penalty=1.1.

Ключевые факты

Выпущены модели Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP и Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP с поддержкой MTP (multi-token-prediction draft head для speculative decoding).
По заявлению автора, MTP даёт ускорение примерно на 35% для версии 26B-A4B и на 53% для версии 31B при идентичном выводе, так как модель проверяет каждый сгенерированный токен.
В тесте на обход отказов указано «GenRM Defeated again, on both! 0/465 refusals».
Модель 26B-A4B использует архитектуру MoE с 128 экспертами и 8 активными (~4B параметров на токен), тогда как 31B, плотная модель; обе поддерживают контекст 262K и vision через mmproj, размер Q4_K_M составляет 16.8 GB и 18.7GB соответственно.