Почему одной метрики WER недостаточно для оценки качества распознавания речи
Качество Automatic Speech Recognition (ASR) напрямую влияет на пользовательский опыт в продуктах, где речь автоматически превращается в текст. Чем точнее модель обрабатывает аудио, тем аккуратнее получается расшифровка. Поэтому метрики качества транскрипции используют как основной ориентир. Они помогают заметить деградацию моделей со временем, сравнить разные решения на рынке и иногда выбрать более дешевую модель, если уровень качества остается сопоставимым.
Самый распространенный показатель здесь, Word Error Rate (WER). Он измеряет долю ошибок на уровне слов. Метрика основана на расстоянии Levenshtein и считается как количество операций, которые нужны, чтобы превратить сгенерированную транскрипцию (hypothesis) в эталонную версию (reference transcription). Учитываются три типа изменений: insertions, deletions и substitutions. Существует и Character Error Rate (CER), похожая метрика на уровне символов, но в описываемой системе оценки используется только WER.
При всей популярности у такого подхода есть ограничения. WER обычно показывают одним агрегированным числом, из-за чего сложнее принимать решения. Модели могут тестироваться на разных наборах данных, а сама метрика не объясняет, где именно возникают ошибки. Как отмечает Towards AI, два ASR решения могут иметь одинаковый показатель WER = 10%, но при этом ошибаться по-разному. Например, одна модель чаще путается в именах собственных, другая делает больше ошибок в обычной лексике. Когда речь идет о сотнях часов аудио и сотнях тысяч слов, такая разница начинает заметно влиять и на качество продукта, и на восприятие пользователей.
В материале предлагается смотреть на ошибки распознавания шире и не ограничиваться одним агрегированным показателем. Вместо этого использовать более детализированное семантическое разложение. Такой подход помогает увидеть структуру ошибок и точнее оценить реальные различия между моделями ASR.
Ключевые факты
Word Error Rate (WER) измеряет долю ошибок на уровне слов и рассчитывается по расстоянию Левенштейна между гипотезой распознавания и эталонной транскрипцией, учитывая вставки, удаления и замены.
Character Error Rate (CER) считает ошибки на уровне символов, однако в описываемом фреймворке оценки используется только WER.
Пример в статье показывает два ASR‑моделя с одинаковым WER = 10%, но разной структурой ошибок: у одного 2% ошибок в общеупотребительной лексике и 8% в именованных сущностях, у другого, 8% и 2% соответственно.
В продукте автора ASR используется для генерации автоматических транскрипций, а метрики качества распознавания применяются как проверка состояния моделей, инструмент выбора более точных моделей и способ оптимизации затрат.