Tencent 20 ноября опубликовала веса Hy4 на Hugging Face вместе с описанием архитектуры и инструкциями по развёртыванию. Это новый этап выпуска модели: саму Hy4 компания представила 4 ноября, но тогда обещала открыть веса позднее.
Hy4 построена по архитектуре «смесь экспертов». Её языковая основа насчитывает 770 млрд параметров, однако для обработки каждого токена — фрагмента входных данных — используются 49 млрд. Из 78 слоёв модели в 77 работают по 256 специализированных экспертов и одному общему; система выбирает восемь специализированных экспертов для каждого токена.
Модель принимает текст, изображения и видео. По описанию Tencent, она умеет разбирать детали изображений и сложные диаграммы, а также выполнять задачи через командную строку и графические интерфейсы. При обучении компания отдельно использовала Blender, программы автоматизированного проектирования и игровые движки Unreal Engine, Unity и Godot.
В Hy4 также встроена вспомогательная модель DFly2 на 3,3 млрд параметров. Она предлагает продолжение ответа до того, как его полностью рассчитает основная модель: такой метод называют спекулятивным декодированием и применяют для ускорения генерации. Заявления Tencent о скорости и качестве пока основаны преимущественно на её собственных испытаниях.
При первоначальном выпуске Hy4 компания сообщала, что откроет веса и системную карту «в ближайшие дни». Независимый разбор Digital Applied 5 ноября отдельно отмечал, что публичных весов полной версии ещё нет. Теперь разработчики могут загрузить Hy4 и разворачивать её на собственной инфраструктуре; официальный репозиторий содержит инструкции для Transformers, vLLM, SGLang и Docker.
