ElevenLabs, разработчик сервисов для работы с голосом, 10 ноября выпустила две модели распознавания речи. Scribe v3 предназначена для готовых аудиозаписей, а Scribe v3 Live расшифровывает разговоры в реальном времени. Обе доступны через API: Scribe v3 стоит $0,20 за час, Scribe v3 Live — $0,22, как предыдущие версии.
На коротких чистых записях на 102 языках Scribe v3 допустила на 27% меньше ошибок в словах, чем Scribe v2. Речь идёт об относительном снижении частоты ошибок в словах (WER).
У Scribe v3 Live смысловых ошибок оказалось на 43% меньше, чем у Scribe v2 Realtime. ElevenLabs учитывала ошибки, которые меняют смысл расшифровки, поэтому этот результат нельзя напрямую сравнивать с показателем обычной Scribe v3.
Читайте также
Все цифры получены разработчиком. Многоязычное распознавание ElevenLabs проверяла на внутренней версии набора FLEURS с чистой прочитанной речью. Разделение реплик по говорящим оценивали на собственном наборе встреч, звонков и голосовых заметок на 16 языках; компания обещает позднее открыть этот набор.
Обе модели умеют отмечать, кому принадлежит каждая реплика. На записях с тремя и более участниками Scribe v3 на 17% реже предшественницы приписывала слова не тому говорящему, а Live получила разделение реплик по говорящим впервые. Модели учитывают контекст конца реплики, смену языков и заданные термины; Scribe v3 принимает до 1000 терминов.
Независимая проверка пока ограничена. Сервис Sonetho сравнил Scribe v2 и v3 на семи чистых корейских записях, созданных синтезатором речи. Обе версии без ошибок распознали корейскую речь без иностранных названий и правильно разделили диалог двух людей, однако результаты с брендами оказались неоднозначными. Scribe v3 передавала часть английских названий корейским алфавитом, а выражение Kling 4.0 не распознала ни одна модель. Авторы теста рекомендуют заранее добавлять важные названия в список терминов. Этот опыт не показывает, как модели справятся с шумом, акцентами и перебивающими друг друга людьми: каждый файл проверяли только один раз, а исходное аудио было синтетическим.
Переход с Scribe v2 через API, по утверждению ElevenLabs, требует заменить идентификатор модели. При этом Sonetho со ссылкой на документацию отмечает ограничение Scribe v3 Live: некоторые функции, включая контекстное определение конца реплики, многоязычный режим и большую библиотеку терминов, пока требуют прямого подключения через WebSocket и не поддерживаются официальными SDK.