ElevenLabs 20 октября выпустила семейство Eleven Realtime для голосовых ИИ-агентов. В него вошли v1 Mini для большинства диалоговых сценариев и v1 Max для сложных задач с внешними инструментами. Обе модели доступны через платформу ElevenAgents и отдельный Realtime API.
Eleven Realtime объединяет распознавание речи, определение конца реплики, обработку перебиваний, языковую модель и синтез ответа. Разработчики могут настраивать инструкции, голоса, инструменты и базы знаний, однако не могут независимо выбирать и заменять внутренние модели каскадной системы. Это сокращает объём интеграционной работы и одновременно ограничивает возможности диагностики и оптимизации отдельных компонентов.
| Показатель | Realtime v1 Mini | Realtime v1 Max |
|---|---|---|
| Среднее время до начала аудиоответа | 620 мс | 570 мс |
| Big Bench Audio, устные задачи на рассуждение | 75,9% | 98,8% |
| Выполнение задач с инструментами | 60,3% | 87,1% |
| Full-Duplex-Bench, паузы и перебивания | 95,8% | 94,1% |
По данным The New Stack, оценки провела аналитическая платформа Artificial Analysis, а ElevenLabs опубликовала результаты при запуске. Эти замеры позволяют сопоставить Mini и Max в тестах, но не показывают их работу под производственной нагрузкой.
Читайте также
Max лучше справилась с устными задачами на рассуждение и вызовом внешних инструментов. Mini немного опередила её в тесте на паузы, перебивания и очередность реплик. ElevenLabs рекомендует Mini для большинства сценариев, а Max — для агентов, выполняющих многошаговые процессы.
Realtime API использует тот же протокол и WebSocket-транспорт, что и OpenAI Realtime API. В приложении на OpenAI SDK достаточно изменить адрес подключения и название модели. Поддержки WebRTC на старте нет, поэтому таким приложениям потребуется сменить транспорт и самостоятельно организовать передачу аудио PCM16 с частотой 24 кГц.
Телефонные и WhatsApp-каналы, базы знаний и мониторинг доступны только через ElevenAgents. Тарификация состоит из стандартной поминутной платы платформы и расходов на токены; Max стоит дороже за токен.