Gradium представила модели stt-translate и s2s-translate для перевода речи в реальном времени
Компания Gradium представила две модели для перевода речи в реальном времени: stt-translate и s2s-translate. Первая преобразует речь в текстовый перевод, вторая переводит речь сразу в речь.
Обе модели работают с пятью языками (EN, FR, DE, ES, PT) и поддерживают 20 языковых пар во всех направлениях. Результат передается потоково прямо в браузер. Как сообщает MarkTechPost, система упрощает привычный конвейер из трех моделей до двух этапов: распознавание и перевод выполняются за один проход внутри речевой модели.
В stt-translate транскрипция и перевод идут параллельно, без промежуточного текста и без передачи данных между отдельными системами. По данным Gradium, архитектура построена на фреймворке Hibiki-Zero и использует Reinforcement Learning, чтобы одновременно оптимизировать задержку и точность. Качество перевода компания оценивает по метрикам BLEU и MetricX на собственном наборе разговорных аудиоданных. В него входят диалоги на темы работы, путешествий и погоды.
В бенчмарках Gradium сообщает, что ее модель опережает gemini-3.5-live-translate по BLEU и MetricX. Также она показывает лучший результат по BLEU по сравнению с gpt-realtime-translate и сопоставимый показатель по MetricX. Средняя задержка составляет 3.0s против 3.6s у gpt-realtime-translate и 2.9s у gemini-3.5-live-translate.
Модель s2s-translate построена поверх stt-translate и добавляет синтез речи Gradium TTS в рамках одного сервиса. Передача аудио идет через один duplex WebSocket: пользователь отправляет поток речи и получает обратно синтезированный перевод вместе с текстовой транскрипцией. Доступен выбор выходного голоса из каталога, а также клонирование собственного. По утверждению Gradium, такой функции нет в gpt-realtime-translate.
Ключевые факты
Gradium представила две модели перевода речи в реальном времени: stt-translate (speech → text) и s2s-translate (speech → speech).
Модели поддерживают 5 языков, EN, FR, DE, ES и PT, и охватывают 20 языковых пар во всех направлениях.
Средняя задержка составляет 3.0 с против 3.6 с у gpt-realtime-translate и 2.9 с у gemini-3.5-live-translate.
Gradium заявляет преимущество над gemini-3.5-live-translate по BLEU и MetricX и преимущество над gpt-realtime-translate по BLEU при сопоставимом MetricX; также доступен выбор голоса и его клонирование, чего нет в gpt-realtime-translate.