EmotionAI: локальный конвейер анализа эмоций в речи без передачи аудио в облако
Исследователи представили EmotionAI, локальный конвейер Computational Intelligence для анализа эмоций в разговорной речи. Он рассчитан на работу с записанными интервью. Система ищет аффективные признаки вроде composure, hesitation и agitation. При ручной разметке такие оценки обычно занимают много времени и нередко остаются субъективными. В отличие от облачных сервисов, здесь вся обработка происходит прямо на устройстве, поэтому чувствительные аудиозаписи не покидают его пределы, пишет arXiv cs.AI (Artificial Intelligence).
Архитектура состоит из нескольких этапов. Сначала выполняется speaker diarisation, затем применяется Whisper Automatic Speech Recognition (ASR), после чего подключается классификатор эмоций wav2vec2. Эти компоненты извлекают аффективные признаки для каждого сегмента записи. Далее данные передаются в adversarial three-model local Large Language Model (LLM) panel. Панель отвечает на вопросы с привязкой к временным меткам и при этом ограничена правилами цитирования источников внутри транскрипта.
В zero-shot тестировании на наборе RAVDESS four-class English subset (n = 672) точность классификатора составила 48.8%. Это выше случайного базового уровня (24.9%) и majority baseline (28.6%), однако ниже результата in-domain MFCC + logistic-regression comparator, который достиг 71.0%. Весь конвейер работает на CPU. Среднее время выполнения 157 s, real-time factor около 1.33. При этом система обходится без каких-либо внешних вызовов.
Авторы подчеркивают, что главный вклад работы не попытка установить state-of-the-art в SER. Задача другая: показать проверяемый и ориентированный на конфиденциальность интегрированный конвейер анализа разговоров. Он опирается на локальные модели и прозрачную обработку данных.
Ключевые факты
EmotionAI описан как полностью локальный пайплайн Computational Intelligence, который сочетает Speech Emotion Recognition с генеративным рассуждением для анализа записанных интервью.
В системе используются speaker diarisation, Whisper Automatic Speech Recognition и классификатор эмоций wav2vec2, а выводы формирует локальная панель из трёх LLM с adversarial‑подходом для ответов с привязкой к таймстампам и цитированию.
В zero-shot оценке на RAVDESS four-class English subset (n = 672) применённый классификатор показал точность 48.8%, выше random baseline 24.9% и majority baseline 28.6%, но ниже MFCC + logistic-regression с 71.0%.
Полный пайплайн работает локально на CPU со средним временем 157 s (real-time factor около 1.33) и выполняется без внешних вызовов.