К содержанию
hegai.media
Новости

AI Gateway добавил привязку инференса к регионам US и EU

AI Gateway добавил привязку инференса к регионам US и EU

AI Gateway получил поддержку regional inference: теперь запросы можно закреплять за конкретным регионом через параметр inferenceRegion. Доступны три режима: us, eu и global. В режиме us инференс выполняется в дата-центре США, eu использует дата-центр ЕС, а global позволяет маршрутизировать запросы в любой регион.

Как сообщает Vercel (Changelog / News, incl. AI SDK), если ни один провайдер модели не может обработать запрос в выбранном регионе, система вернёт ошибку вместо перенаправления в другой регион. В ответе API также указывается регион, где был выполнен запрос, поэтому можно проверить фактическое место обработки.

В компании поясняют, что раньше командам с требованиями к data residency и compliance приходилось отдельно настраивать региональную маршрутизацию у каждого провайдера. Теперь AI Gateway использует единое поле для всех поддерживаемых провайдеров. Если inferenceRegion не указан, запросы по-прежнему маршрутизируются глобально без гарантий residency.

Vercel также предупреждает, что закрепление региона может увеличить стоимость обработки. По данным компании, провайдеры обычно устанавливают региональные тарифы примерно на 10% выше стандартных, а AI Gateway передаёт эту наценку без дополнительной маржи.

Ключевые факты

  • AI Gateway поддерживает три режима маршрутизации: us, eu и global

  • При недоступности выбранного региона запрос завершается ошибкой, а не перенаправляется в другой регион

  • Ответ API содержит информацию о регионе, в котором был выполнен запрос

  • Региональные тарифы у провайдеров обычно примерно на 10% выше стандартных

Вопросы и ответы

Что произойдет, если модель недоступна в выбранном регионе?

AI Gateway не будет автоматически переводить запрос в другой регион. Если провайдер не может выполнить инференс в режиме us или eu, запрос завершится ошибкой.

Как проверить, где фактически обработался запрос?

API теперь возвращает регион выполнения запроса. Это позволяет проверить, что инференс действительно прошел в US или EU, а не был обработан глобально.

Во сколько обойдется закрепление инференса за регионом?

Vercel предупреждает, что региональные тарифы у провайдеров обычно примерно на 10% выше стандартных. AI Gateway передает эту наценку без собственной дополнительной маржи.

Контекст по теме