Stability AI и Arm открыли модель Stable Audio Open Small для генерации аудио на смартфонах

Stability AI вместе с Arm открыла исходный код модели Stable Audio Open Small, текст‑в‑аудио модели с 341M параметров, оптимизированной для работы полностью на Arm CPUs. Решение рассчитано на генерацию коротких аудиофрагментов: на смартфоне модель способна создать до 11 секунд звука менее чем за 8 секунд. Это компактная версия Stable Audio Open, при этом компания утверждает, что качество результата и соответствие текстовым запросам сохранены.

Проект продолжает совместную работу компаний по переносу генеративного аудио на мобильные устройства. Ранее Stable Audio Open уже оптимизировали для Arm CPUs с использованием Arm KleidiAI, а демонстрацию технологии показывали на Mobile World Congress. Теперь веса модели опубликованы и доступны для развёртывания.

Stable Audio Open Small предназначена для генерации коротких аудиосэмплов, звуковых эффектов и производственных элементов по текстовым подсказкам, например drum loops, foley, instrument riffs и ambient textures. Модель распространяется бесплатно для коммерческого и некоммерческого использования по лицензии Stability AI Community License. Исследовательская статья доступна на arXiv, веса модели размещены на Hugging Face, код опубликован на GitHub. Также вышел Arm Learning Path с инструкциями по работе с моделью на Arm hardware.