Stability AI вместе с Arm открыла исходный код модели Stable Audio Open Small, текст‑в‑аудио модели с 341M параметров, оптимизированной для работы полностью на Arm CPUs. Решение рассчитано на генерацию коротких аудиофрагментов: на смартфоне модель способна создать до 11 секунд звука менее чем за 8 секунд. Это компактная версия Stable Audio Open, при этом компания утверждает, что качество результата и соответствие текстовым запросам сохранены.
Проект продолжает совместную работу компаний по переносу генеративного аудио на мобильные устройства. Ранее Stable Audio Open уже оптимизировали для Arm CPUs с использованием Arm KleidiAI, а демонстрацию технологии показывали на Mobile World Congress. Теперь веса модели опубликованы и доступны для развёртывания.
Stable Audio Open Small предназначена для генерации коротких аудиосэмплов, звуковых эффектов и производственных элементов по текстовым подсказкам, например drum loops, foley, instrument riffs и ambient textures. Модель распространяется бесплатно для коммерческого и некоммерческого использования по лицензии Stability AI Community License. Исследовательская статья доступна на arXiv, веса модели размещены на Hugging Face, код опубликован на GitHub. Также вышел Arm Learning Path с инструкциями по работе с моделью на Arm hardware.
Ключевые факты
Stability AI совместно с Arm открыла исходный код модели Stable Audio Open Small, текст‑в‑аудио модели на 341 млн параметров, оптимизированной для работы полностью на Arm CPU.
Модель может сгенерировать до 11 секунд аудио на смартфоне менее чем за 8 секунд.
Stable Audio Open Small значительно компактнее исходной Stable Audio Open: 341 млн параметров против 1,1 млрд.
Модель распространяется бесплатно для коммерческого и некоммерческого использования по лицензии Stability AI Community License.