Clark Labs опубликовала сжатую версию трансформера Sana 1.6B для text-to-image размером 374 MB
Clark Labs опубликовала на Hugging Face модель clark-air-sana-1.6b-1.58bit. Это сжатая версия text-to-image трансформера Sana 1.6B. Веса переведены в тернарное представление с точностью примерно ~1.85 bits/weight, благодаря чему модель в упакованном виде занимает 374 MB. Для сравнения: исходная версия в формате FP16 весит 3.21 GB.
В описании репозитория говорится, что такой способ хранения делает модель примерно в 8.6 раза меньше FP16‑версии. При этом заявлено, что качество генерации остаётся близким к FP16. Упакованный вариант распространяется файлом clark-air-sana-1.6b-packed.safetensors. После распаковки объём снова достигает 3.21 GB, модель представлена в bf16 для совместимости с diffusers.
Квантование выполнено до тернарных весов с групповыми масштабами. Небольшая часть параметров, около ~5% (слои conditioning и projection), сохранена в более высокой точности. Базовая модель, Sana 1.6B, рассчитана на разрешение 512px и распространяется по лицензии Apache-2.0.
Как сообщает r/StableDiffusion (Reddit), опубликованный на Hugging Face вариант является перераспространённой версией работы, ранее упомянутой пользователем pmttyji.
Ключевые факты
Сжатая версия Sana 1.6B занимает 374 MB против 3.21 GB у FP16‑версии, примерно в 8.6 раза меньше.
Квантование выполнено до тернарного представления с примерно ~1.85 бит на вес.
Около ~5% параметров (слои conditioning и projection) сохранены в более высокой точности.
Базовая модель, Sana 1.6B для генерации изображений с разрешением 512px, лицензия Apache-2.0.