Французская ИИ-компания Mistral 20 октября представила Voxtral 3 — семейство моделей распознавания и синтеза речи и набор разработчика для сборки голосовых агентов. Более 50 языков, включая русский, заявлены именно для распознавания речи.
Новый SDK не является готовым голосовым агентом: он связывает транскрипцию, отдельно подключаемую модель рассуждения, обращение к внешним инструментам и синтез ответа. После подключения этих компонентов агент может определить конец реплики, получить данные из корпоративной системы и ответить голосом. Mistral предлагает такую архитектуру для контакт-центров, служб поддержки, виртуальных помощников и голосового управления приложениями.
Voxtral Small Transcribe 3 распознаёт более 50 языков, разделяет речь собеседников и учитывает переданные ей термины. Облегчённая Voxtral Mini Transcribe 3 содержит 4 млрд параметров и стоит от $0,0035 за минуту пакетной обработки. Версия для работы в реальном времени поддерживает более 35 языков при задержке менее 500 мс.
Читайте также
Mistral приводит такие результаты на общей выборке из 45 языков FLEURS; ниже процент ошибок, меньше — лучше:
| Модель | Ошибки при заданном языке | При автоопределении |
|---|---|---|
| Voxtral Small Transcribe 3 | 4,1% | 4,0% |
| Microsoft AI Transcribe 2 | 4,1% | 4,0% |
| Voxtral Mini Transcribe 3 | 4,6% | 4,5% |
| Scribe v2 | 4,9% | 4,9% |
| Whisper Large v3 | 16,0% | 14,9% |
Это замеры разработчика. В рейтинге Artificial Analysis WER Index модель Voxtral Small Transcribe 3 занимает третье место после Fun-Realtime-ASR-preview и Microsoft AI Transcribe 2.
Модель синтеза Voxtral Mini TTS 3 меняет эмоцию, темп и акценты с учётом контекста. Режим Pro Voice адаптирует голос по 30 минутам записи, воспроизводя характерные особенности, эмоциональный диапазон и манеру речи на разных языках. В анонсе для синтеза речи заявлены более 35 языков и 50 диалектов, тогда как карточка модели указывает девять языков. Генерация речи стоит $13 за 1 млн символов.
Семейство Voxtral 3 доступно через размещённый в Евросоюзе API Mistral и для развёртывания на собственной инфраструктуре. Во втором случае организация контролирует, где обрабатывается аудио и сохраняются ли разговоры. Поскольку SDK только связывает отдельные компоненты, для работы агента разработчикам также нужно подключить модель рассуждения, телефонию или веб-интерфейс и корпоративные системы.