28 октября NVIDIA представила Nemotron 3.5 Transcribe — модель с открытыми весами для обработки записанной речи. Она расшифровывает аудио, отмечает реплики разных собеседников, переводит разговор, расставляет временные метки и отвечает на вопросы о содержании записи.
Модель принимает записи продолжительностью до часа и поддерживает расшифровку на 40 языках. Перевод между английским и другими языками доступен для 31 языка, а разделение реплик по говорящим — для 13. В одной записи система различает до восьми собеседников. Набор функций зависит от языка: например, ответы на вопросы по аудио обучались и оценивались только на английском.
Результатом можно управлять с помощью текстовой инструкции: запросить дословную расшифровку, задать написание чисел и терминов, перечислить решения из встречи или подписать говорящих. В подсказку разрешено включать ожидаемые имена и профессиональную лексику. NVIDIA рекомендует сверять с записью имена, смену собеседников и ответы на вопросы.
Читайте также
Nemotron 3.5 Transcribe обрабатывает готовые записи и не предназначена для распознавания живого аудиопотока. Модель можно запустить локально, поэтому встречи, звонки и диктовку необязательно отправлять во внешний облачный API. Доступны версии с разной точностью вычислений; пример запуска полной версии BF16 использует один ускоритель H100 с 80 ГБ памяти. Из примерно 30 млрд параметров при обработке активны около 4,3 млрд вместе с аудиокодировщиком.
На английском зачёте Open ASR Leaderboard модель показала среднюю долю ошибочно распознанных слов 5,33% и заняла первое место среди систем с открытыми весами. Закрытые сервисы, доступные только через API, в этом сравнении не участвовали. В независимом рейтинге Artificial Analysis Nemotron разделила первое место среди открытых моделей с результатом 2,8%.
Вместе с моделью NVIDIA опубликовала Granary v2 — многоязычные данные, конвейер их подготовки и инструменты для дообучения. В медицинском эксперименте разработчиков адаптация снизила долю ошибок на голосах, не использованных при настройке, на 45,8% относительно лучшего результата с одной текстовой инструкцией. Модель распространяется по лицензии OpenMDW 1.1, которая допускает коммерческое и некоммерческое использование.