Как пишет Forbes со ссылкой на летний отчет Hugging Face, на Hub размещена 28 531 конверсия моделей Qwen от Alibaba в формат GGUF, созданная сообществом. Сама Qwen опубликовала лишь 54 такие конверсии. В отчете этот разрыв назван отдельным слоем распространения между исходными весами и файлами, которые разработчики запускают локально. Поэтому загружаемый в память артефакт нередко отличается от версии, протестированной или подписанной лабораторией.
Исходные контрольные точки обычно публикуют в форматах вроде Safetensors и используют через Transformers. Локальные среды исполнения, в том числе llama.cpp, работают с GGUF. При этом конвертация и квантование являются отдельными этапами. Сначала создается высокоточная сборка GGUF, затем квантование часто сокращает представление примерно до четырех или пяти бит на вес. Существующие инструменты подписи моделей могут подтвердить целостность байтов, но не точность квантования.
За первые семь месяцев 2026 года количество репозиториев моделей на Hub выросло на 21,5%. Репозиториев, в которых указана библиотека gguf, стало больше на 464%. Hugging Face предлагает компаниям вести ведомость состава программного обеспечения и фиксировать в ней не только название модели, но и рецепты конвертации, издателей, а также хеши развернутых артефактов. Лабораториям рекомендуют выпускать официальные подписанные конверсии.
Ключевые факты
Сообщество создало 28 531 конверсию моделей Qwen в GGUF, а сама Qwen опубликовала 54.
За первые семь месяцев 2026 года число репозиториев моделей на Hub выросло на 21,5%, а репозиториев с библиотекой gguf, на 464%.
Рост составил 194% для lerobot, 148% для mlx и 16% для transformers.
GGUF-сборки Qwen получают 39,6 млн загрузок в месяц, почти вдвое больше Gemma и более чем в пять раз больше Llama.
Вопросы и ответы
- Какие развертывания находятся в зоне риска?
Локальные среды вроде llama.cpp, которые запускают GGUF вместо исходных Safetensors через Transformers. У Qwen уже 28 531 сторонняя GGUF-конверсия против 54 официальных, поэтому развернутый файл может отличаться от протестированной лабораторией версии.
- Что нужно фиксировать компании для проверки происхождения модели?
В ведомость состава ПО стоит включать название модели, рецепт конвертации, издателя и хеш конкретного развернутого артефакта. Лабораториям рекомендовано выпускать официальные подписанные конверсии.
- Достаточно ли цифровой подписи, чтобы проверить качество GGUF-сборки?
Нет. Подпись подтверждает целостность байтов, но не точность квантования, которое после конвертации часто уменьшает представление модели примерно до 4-5 бит на вес.
Контекст по теме
- Qwen 3.8 27B получила 52 балла в Artificial Analysis Intelligence Index18 августа 2026 г.
- Пользователи r/LocalLLaMA обсуждают практичность квантования Q1 и Q2 для моделей размером 100–250B28 июня 2026 г.
- Энтузиаст запустил Model Registry, каталог.torrent для открытых моделей с резервной загрузкой из Hugging Face28 июня 2026 г.
- Georgi Gerganov назвал Qwen3.6-27B способной локальной моделью для задач программирования16 июня 2026 г.