Hume AI, разработчик технологий анализа голоса, 2 ноября представила Audio Decisions API для анализа звонков и других аудиозаписей. Пользователь API загружает файл и задаёт вопросы обычным языком, например раздражён ли клиент, перебивает ли оператор собеседника и слышен ли фоновый шум. Доступ организациям выдают после заявки через лист ожидания.
API работает непосредственно с исходной записью и возвращает вероятности заданных вариантов ответа, а не расшифровку или текстовое объяснение. По документации, эти значения оценивают долю слушателей, которые выбрали бы соответствующий ответ. Поэтому результат около 50% может означать, что мнения людей разделились.
Один и тот же архив можно повторно анализировать по разным критериям: сначала проверить звонки на перебивания, а затем задать к тем же записям вопросы о тоне операторов или фоновых звуках. Новая разметка и переобучение модели для этого не требуются. Для сравнения разных файлов нужно сохранять одинаковые вопросы и их порядок, поскольку изменения могут повлиять на ответы.
Один запрос принимает MP3- или WAV-файл длительностью от пяти секунд до пяти минут; более длинные записи нужно делить на части. Цена составляет $0,47 за миллион входных токенов, которые рассчитываются по продолжительности аудио, тексту вопросов и дополнительному контексту.
Во внутренней оценке Hume AI модель совпала со средней оценкой группы людей в 70,7% случаев, тогда как показатель отдельного участника составил 56,5%. Оценки раздражения, естественности и сочувствия отражают человеческое восприятие и могут различаться у разных слушателей.