«Сбер» представил две речевые модели собственной разработки: систему распознавания речи GigaAM Multilingual и большую языковую модель GigaChat Audio. Последняя работает с аудиофайлами и голосовыми сообщениями без предварительного перевода речи в текст, а также умеет анализировать интонацию пользователя.
Как сообщает D-Russia (Цифровая Россия / D-Russia.ru), обе модели предварительно обучили на большом массиве многоязычных данных. При этом их можно дообучать для поддержки дополнительных языков, в том числе языков стран СНГ. Разработчики называют GigaAM Multilingual первой российской открытой моделью с поддержкой нескольких языков.
В компании рассказали, что GigaChat Audio определяет эмоциональную окраску речи по интонации, характеристикам голоса и особенностям произношения. Модель способна обрабатывать записи продолжительностью до трёх часов, находить нужные фрагменты разговора, пересказывать отдельные части беседы и формировать саммари со ссылками на временные отметки. Кроме того, нейросеть умеет идентифицировать голос участника аудиозаписи.
По данным «Сбера», во время внутренних тестов GigaChat Audio показала уровень понимания и обработки голосовых запросов, сопоставимый с лучшими мировыми аналогами. Это подтверждает тест Arena Hard Audio. Обе модели уже доступны в ИИ-помощнике «ГигаЧат» и выложены в Open Source для свободного использования.
Ключевые факты
GigaChat Audio может обрабатывать аудиозаписи длительностью до трёх часов
Модель умеет определять позитивную или негативную эмоцию пользователя по интонации и характеристикам голоса
GigaChat Audio формирует саммари записи со ссылками на временные отметки фрагментов
По утверждению разработчиков, GigaAM Multilingual, первая российская открытая модель с поддержкой нескольких языков