24 октября Ollama добавила синтез речи в платформу для локального запуска моделей. Теперь текст и ответы локальных чат-моделей можно озвучивать на компьютерах Mac с чипами Apple, не отправляя данные в облачный сервис.
Первой доступной речевой моделью стала Phonon от Gradium. Компания открыла её веса и среду запуска 20 октября. Phonon подходит для локальных ассистентов, программ чтения и голосовых интерфейсов, которым нужны обработка данных на устройстве и работа без постоянного подключения к интернету.
Для запуска Ollama рекомендует версию 0.40.11 или новее и команду ollama run phonon. Модель озвучивает введённые строки, сохранённый текст или ответ другой локальной модели. При перенаправлении вывода Ollama сохраняет монофонический WAV-файл с частотой 24 кГц.
Читайте также
Приложения могут обращаться к совместимому с OpenAI адресу /v1/audio/speech: коду на OpenAI SDK достаточно указать новый базовый адрес. Ollama передаёт аудио частями по мере генерации, поэтому воспроизведение ответа может начаться после первого предложения.
На компьютерах с Apple Silicon Ollama ускоряет Phonon с помощью MLX, фреймворка Apple для машинного обучения. По тесту Ollama, MacBook Pro с M5 Max создал 45 секунд речи на 35% быстрее среды Gradium. Компания приводит медианный результат десяти запусков.
Phonon выпускается в двух основных размерах. Англоязычная модель на 31 млн параметров распространяется по лицензии Apache 2.0, которая допускает коммерческое применение. Модели на 40 млн параметров поддерживают английский, французский, немецкий, испанский и португальский языки. Gradium распространяет их по лицензии CC BY-NC 4.0, ограничивающей использование некоммерческими проектами. Русского языка среди заявленных нет.
Голос можно выбрать из каталога Gradium, а список вариантов показывает команда ollama show phonon. Сейчас речевые модели в Ollama работают на Mac с Apple Silicon. Поддержку Windows и Linux компания планирует добавить позднее.