К содержанию
hegai.media
Новости

EY разработала систему маршрутизации AI-запросов для контроля расходов на токены

EY разработала систему маршрутизации AI-запросов для контроля расходов на токены

EY разработала систему, которую называет «AI router». Она направляет каждую задачу в ту модель, которая справится с ней с минимальными затратами. Как сообщает The Next Web (TNW), инструмент должен помочь компании сократить расходы на токены, которые растут вместе с масштабированием AI-инфраструктуры.

Система распределяет нагрузку между моделями разного уровня. Простые запросы уходят в более дешёвые модели, сложные, в более дорогие. В EY говорят, что такой подход помогает снижать расходы без заметного ухудшения качества результата. Компания инвестирует в AI более 1 млрд $ в год, использует около 1000 AI-агентов и отмечает рост выручки от AI-консалтинга примерно на 30%.

Согласно опросу EY AI Pulse среди 534 руководителей американских компаний, 82% респондентов обеспокоены стоимостью использования токенов. Ещё 98% пользователей инструментов с оплатой за токены сообщили, что эти расходы заставили их пересмотреть стратегию. При этом только 64% компаний заявили, что отслеживают потребление токенов с учётом бюджетных ограничений.

В материале говорится, что корпоративный рынок постепенно смещается от массового внедрения AI к контролю экономической эффективности. EY также рассматривает собственный инструмент как часть консалтингового предложения для клиентов, которым важно выстраивать AI-системы внутри компании и одновременно контролировать затраты.

Ключевые факты

  • EY инвестирует более 1 млрд $ в год в AI и использует около 1000 AI-агентов

  • Выручка EY от AI-консалтинга выросла примерно на 30%

  • 82% участников опроса EY AI Pulse обеспокоены стоимостью токенов

  • Только 64% компаний сообщили, что отслеживают использование токенов с бюджетными ограничениями

Вопросы и ответы

Как EY снижает расходы на AI без отказа от сложных моделей?

Система AI router автоматически распределяет запросы между моделями разного уровня: простые задачи отправляет в более дешёвые модели, а сложные в более дорогие. В EY заявляют, что это помогает сокращать расходы на токены без заметного ухудшения качества результата.

Насколько проблема стоимости токенов уже стала массовой для бизнеса?

По опросу EY AI Pulse среди 534 руководителей американских компаний, 82% обеспокоены стоимостью токенов, а 98% пользователей AI-сервисов с оплатой за токены уже пересмотрели из-за этого свою AI-стратегию.

Для каких компаний EY предлагает этот инструмент и что он меняет на практике?

EY рассматривает AI router как часть консалтингового предложения для компаний, которые строят AI-системы внутри бизнеса и хотят одновременно контролировать затраты. Это особенно актуально на фоне того, что только 64% компаний сейчас отслеживают потребление токенов с бюджетными ограничениями.

Контекст по теме