«Сбер» открыл доступ к речевым моделям GigaAM Multilingual и GigaChat Audio

«Сбер» представил две речевые модели собственной разработки: систему распознавания речи GigaAM Multilingual и большую языковую модель GigaChat Audio. Последняя работает с аудиофайлами и голосовыми сообщениями без предварительного перевода речи в текст, а также умеет анализировать интонацию пользователя.

Как сообщает D-Russia (Цифровая Россия / D-Russia.ru), обе модели предварительно обучили на большом массиве многоязычных данных. При этом их можно дообучать для поддержки дополнительных языков, в том числе языков стран СНГ. Разработчики называют GigaAM Multilingual первой российской открытой моделью с поддержкой нескольких языков.

В компании рассказали, что GigaChat Audio определяет эмоциональную окраску речи по интонации, характеристикам голоса и особенностям произношения. Модель способна обрабатывать записи продолжительностью до трёх часов, находить нужные фрагменты разговора, пересказывать отдельные части беседы и формировать саммари со ссылками на временные отметки. Кроме того, нейросеть умеет идентифицировать голос участника аудиозаписи.

По данным «Сбера», во время внутренних тестов GigaChat Audio показала уровень понимания и обработки голосовых запросов, сопоставимый с лучшими мировыми аналогами. Это подтверждает тест Arena Hard Audio. Обе модели уже доступны в ИИ-помощнике «ГигаЧат» и выложены в Open Source для свободного использования.