Масштаб данных, а не задержка, определяет перенос энкодера между языками в потоковом ASR
Исследователи решили проверить, какая начальная инициализация лучше подходит при адаптации потоковой системы распознавания речи к новому языку: многоязычный энкодер (ML) или англоязычный (EN). Обычно предполагают, что ML‑инициализация особенно полезна, когда данных на целевом языке мало. Но оставался открытым вопрос, как долго сохраняется это преимущество и меняется ли оно при жёстких требованиях к задержке в потоковой обработке.
В работе, о которой сообщает arXiv cs.AI (Artificial Intelligence), описан контролируемый эксперимент с моделью cache-aware FastConformer transducer на 0.6 B параметров. Её протестировали на восьми европейских языках. Объём данных на целевом языке варьировали от 100 h до 2500 h. В экспериментах использовали три режима потоковой работы, офлайн‑декодирование и до четырёх публичных тестовых наборов.
Результаты показывают, что преимущество многоязычной инициализации связано прежде всего с нехваткой данных, а не с требованиями по задержке. На наборе FLEURS при задержке 160 ms средний разрыв по word error rate между EN и ML уменьшается с +4.21 процентного пункта при 100 h данных до +0.20 процентного пункта при 2500 h. Аппроксимация степенным законом показывает похожую динамику: при каждом удвоении объёма данных на целевом языке оставшееся преимущество многоязычной инициализации примерно сокращается вдвое.
Ключевые факты
Исследование выполнено на 0.6 B‑параметрической модели cache-aware FastConformer transducer.
Проведен контролируемый эксперимент на восьми европейских языках с масштабами целевых данных от 100 h до 2500 h, тремя уровнями стриминговой задержки и офлайн‑декодированием.
Основной вывод: преимущество мультиязычной инициализации является ограниченным объемом данных, а не уровнем стриминговой задержки.
На тесте FLEURS при 160 ms разрыв WER между EN и ML уменьшается с +4.21 percentage points при 100 h до +0.20 pp при 2500 h.