В начале августа подразделение Qwen китайского облачного провайдера Alibaba представило версию 3.8 своей ИИ-модели. Qwen3.8-Max насчитывает 2,4 трлн параметров, при этом активны 95 млрд. Первое время модель была доступна только в QwenCloud. Спустя несколько дней Alibaba разместила на Huggingface веса Qwen3.8-2.4T-A95B и Qwen3.8-27B с 27 млрд параметров. Согласно результатам тестов, опубликованным Qwen, версия Qwen3.8-27B превосходит предшественников и Muse Glimmer 30B в программировании и работе с агентами. По этим же данным, она находится на уровне Opus 4.6 или выше.
Как сообщает Heise online, исходной модели в формате FP32 требуется минимум 108 Гбайт VRAM без учёта Key-Value-кэша. В реалистичной конфигурации понадобится около 120 Гбайт, а для FP16 нужны видеокарты с 64 Гбайт. Квантованная версия Q5_K_M занимает 22 Гбайт и помещается на AMD Radeon 7900 XTX, а также NVIDIA RTX 3090 (Ti), 4090 и 5090. Подготовленный Unsloth вариант NVFP4 оптимизирован для видеокарт NVIDIA серии Blackwell и работает с 16 Гбайт VRAM.
Во время первого теста редакция издания запустила Qwen3.8 в вариантах Q8_0 и NVFP4 через Llama.cpp на RTX Pro 6000 Blackwell. Модель получила задачу без уточняющих вопросов создать полноценный REST-API для системы управления товарами с пользователями и ролевыми разрешениями.
NVFP4 потребовала почти вдвое меньше VRAM по сравнению с Q8_0, при этом заметного ухудшения результата не было. Код скомпилировался с первой попытки и содержал все заказанные функции.
Ключевые факты
Qwen3.8-Max насчитывает 2,4 трлн параметров, из которых активны 95 млрд.
Исходная модель в формате FP32 требует минимум 108 Гбайт VRAM и около 120 Гбайт с учётом Key-Value-кэша.
Квантованная Q5_K_M занимает 22 Гбайт и помещается на AMD Radeon 7900 XTX и NVIDIA RTX 3090 (Ti), 4090 и 5090.
Вариант NVFP4 оптимизирован для видеокарт NVIDIA серии Blackwell и работает с 16 Гбайт VRAM.