Как сообщает VentureBeat, в Cortex AI Gateway появилась динамическая маршрутизация моделей. Корпоративные команды могут выбрать режим «auto», а не фиксированную модель. Тогда система сама направит каждую задачу модели с оптимальным сочетанием качества и стоимости.
По данным Snowflake, на некоторых нагрузках эта функция позволяет сократить расходы на токены до 3 раз. Оценка основана на внутренних тестах компании. Они показали, что простые вопросы часто обрабатывала модель с наибольшими возможностями, из-за чего ответы стоили дороже и занимали больше времени, чем требовалось.
Databricks, AWS, Google Cloud и Nvidia тоже объявили о технологиях маршрутизации моделей. В Snowflake считают, что при выборе нужно учитывать цену и производительность, а также управление и контекст.
Ключевые факты
По внутренним тестам Snowflake, расходы на токены на некоторых нагрузках могут сократиться до 3 раз.
Простые вопросы часто обрабатывала модель с наибольшими возможностями, из-за чего ответы были дороже и медленнее, чем требовалось.
Databricks, AWS, Google Cloud и Nvidia также объявили о технологиях маршрутизации моделей.
Snowflake предлагает учитывать при маршрутизации управление и контекст наряду с ценой и производительностью.
Вопросы и ответы
- Что нужно изменить команде, чтобы включить маршрутизацию?
В Cortex AI Gateway нужно выбрать режим «auto» вместо фиксированной модели. Тогда система будет направлять каждую задачу модели с оптимальным сочетанием качества и стоимости.
- Какой экономический эффект ожидает Snowflake?
По внутренним тестам компании, на некоторых нагрузках расходы на токены могут сократиться до 3 раз за счет передачи простых запросов менее дорогим и быстрым моделям.
- Чем подход Snowflake отличается от других решений маршрутизации?
Snowflake предлагает учитывать не только цену и производительность модели, но также управление и контекст. Аналогичные технологии маршрутизации уже анонсировали Databricks, AWS, Google Cloud и Nvidia.
Контекст по теме
- Результаты V4 Flash заметно различались в зависимости от агентной обвязки16 августа 2026 г.
- Muse Glimmer рассчитана на локальные агентные процессы на PC и Mac11 августа 2026 г.
- MongoDB добавила встроенный reranking в Atlas для AI-приложений30 июня 2026 г.
- Databricks представила Genie Ontology, систему контекста для AI‑агентов в корпоративных данных19 июня 2026 г.