Как использовать NVIDIA Canary-1B-v2 для распознавания речи, перевода и экспорта субтитров SRT в Python
В обучающем материале разбирают, как собрать рабочий процесс распознавания речи и перевода на базе модели NVIDIA Canary-1B-v2. Сначала готовят окружение: ставят системные пакеты и зависимости, включая NeMo ASR toolkit и аудиобиблиотеки, а также совместимые версии NumPy и SciPy. Затем модель загружают из NeMo и переносят на устройство выполнения. Если доступен GPU, используется CUDA, это заметно ускоряет инференс.
Дальше подготавливают аудиофайлы в формате 16 kHz mono. После этого выполняется распознавание английской речи (ASR), и система переводит результат на несколько языков, среди них French, German, Spanish и Italian. Модель также выдает временные метки: отдельно для слов и для сегментов. Благодаря этому текст можно точно синхронизировать с аудио.
Переводы при необходимости автоматически экспортируются в файл субтитров формата SRT. В руководстве есть и дополнительные примеры: тесты для длинных аудиозаписей, пакетная обработка нескольких файлов, измерение скорости инференса. Как сообщает MarkTechPost, в итоге получается полноценный многоязычный конвейер ASR и перевода речи. Его можно адаптировать для работы с реальными аудиофайлами, генерации субтитров и масштабных экспериментов по транскрибации.
Ключевые факты
В туториале строится пайплайн распознавания речи и перевода на базе модели NVIDIA Canary-1B-v2 из NeMo.
Аудио подготавливается в формат 16 kHz mono перед запуском распознавания речи.
После английского ASR выполняется перевод речи на French, German, Spanish и Italian и извлекаются таймкоды слов и сегментов.
Переведённые субтитры экспортируются в файл формата SRT, а также тестируются длинные транскрипции, пакетная обработка и скорость инференса.