ClipProj v3.1 позволяет заменить штатный 32B-текстовый энкодер MiniMax H3, который занимает 15 GB, на модели 4B или 8B. Для локального пайплайна это потенциально снимает один из самых неприятных налогов на VRAM, но главный практический вопрос пока открыт: на какую именно GPU после замены помещается весь процесс и сколько времени занимает генерация.
Иными словами, новость хорошая, а закупать под неё более дешёвую карту рано. В опубликованном описании нет замеров пиковой памяти, скорости и минимальной конфигурации.
Что выпустили
Автор ClipProj сообщил на r/StableDiffusion о новых матрицах v3.1 для MiniMax H3. По его оценке, они улучшают речь на всех 11 официально поддерживаемых языках при использовании 4B- или 8B-модели вместо штатного 32B-энкодера. Обновлять ноду не нужно: веса, бенчмарк и рендеры опубликованы на Hugging Face, код ComfyUI-ClipProj доступен на GitHub.
Это продолжение серии августовских обновлений. Ранее автор уже показывал замену 32B-энкодера на 4B и 8B и отдельно работал над совпадением голоса и генерацией речи на разных языках. Версия 3.1, судя по описанию, чинит именно многоязычный результат, а не меняет сам способ подключения модели.
Здесь важна точность формулировки. ClipProj не «экономит 15 GB» целиком: вместо 15-гигабайтного компонента всё равно загружается другая модель. Чистую экономию можно узнать только по пиковому потреблению всего пайплайна. Таких цифр в публикации нет.
Памяти должно стать легче, с качеством сложнее
Для бизнеса выигрыш выглядит понятным. Если текстовый энкодер перестаёт съедать фиксированные 15 GB, освободившаяся память может позволить запустить H3 на более доступной GPU или оставить больше места другим компонентам процесса. Но пока это гипотеза с понятным техническим механизмом, а не подтверждённая конфигурация.
Со скоростью ещё меньше определённости. Меньшая модель может снизить нагрузку на память, однако источник не приводит время загрузки энкодера, длительность рендера или сравнение 32B, 8B и 4B на одном оборудовании. Поэтому обещать ускорение нельзя. Вполне возможен сценарий, при котором основной выигрыш будет только в возможности запустить задачу без нехватки памяти. Для локального продакшена это уже полезно, просто это другой KPI.
Многоязычность тоже требует ручной проверки. Сам автор признаёт, что некоторые языки всё ещё звучат неправильно. Иногда те же ошибки встречаются и у 32B-энкодера, иногда приблизиться к его результату не удаётся. Он отдельно пишет, что не владеет всеми языками, и просит носителей оценить произношение.
Поэтому фраза «улучшенная речь на 11 языках» пока означает результат авторского бенчмарка v3.1, а не независимое подтверждение превосходства над 32B. Для русского пайплайна это особенно простой урок: аудиофайл без явного сбоя ещё не равен естественной речи. Ошибку в ударении клиент услышит быстрее, чем экономию VRAM заметит финансовый директор.
Как искать минимальную конфигурацию
Разумный порядок теста начинается с 4B, потому что именно она должна ответить на главный вопрос: насколько далеко можно снизить требования к памяти. Затем тот же набор прогонов нужно повторить на 8B и штатном 32B, не меняя workflow, тексты и настройки.
Для каждого варианта достаточно зафиксировать четыре вещи: пиковую VRAM, время генерации, наличие сбоев и оценку произношения носителем языка. Отдельно стоит проверить сохранение голоса, если пайплайн использует его клонирование. Минимальной рабочей конфигурацией будет не самая дешёвая карта, на которой однажды появился файл, а первая, где серия одинаковых задач проходит без нехватки памяти и заметной деградации речи.
Пока такого сравнения источник не даёт, главный практический вывод скромнее рабочего заголовка: 15-гигабайтный энкодер MiniMax H3 больше не выглядит обязательным, но конкретный бюджет GPU ещё не пересчитан.
Следить теперь нужно не за очередным роликом с удачным примером, а за таблицей с пиковым VRAM и временем рендера для 4B, 8B и 32B на одном железе. Второй маркер зрелости v3.1: оценки носителей по каждому из 11 языков. Если оба набора данных появятся и 4B сохранит качество, ClipProj станет способом реально удешевить локальный H3. Если нет, это останется удобной экспериментальной заменой с расходами на языковой контроль.