К содержанию
hegai.media
Новости

AI Gateway добавил лимиты расходов для команд и проектов

AI Gateway добавил лимиты расходов для команд и проектов

AI Gateway получил поддержку бюджетов расходов не только для отдельных API-ключей, но и для команд и проектов. Пользователь может задать денежный лимит для нужной области, после чего сервис отслеживает затраты и прекращает обработку запросов, когда порог достигнут. Работа возобновится после сброса бюджета или изменения лимита.

Как сообщает Vercel (Changelog / News, incl. AI SDK), один запрос может одновременно попадать под несколько бюджетов. В таком случае должны соблюдаться все ограничения: если хотя бы один лимит исчерпан, запрос отклоняется, даже когда в других бюджетах еще остается доступный остаток. Для команд учитываются все запросы через gateway, для проектов, запросы, связанные с конкретным проектом, а для API key, расходы по отдельному ключу.

Управлять бюджетами можно через вкладку AI Gateway Budgets в панели управления или через CLI. В интерфейсе доступны отслеживание расходов по всем уровням и email-уведомления при достижении 50%, 75% и 100% лимита за период обновления. Для проектов и API key также можно задать бюджет по умолчанию: он автоматически применяется ко всем сущностям без собственного лимита.

Ключевые факты

  • BYOK-расходы по умолчанию не учитываются в бюджетах

  • Email-уведомления о расходах отправляются при достижении 50%, 75% и 100% лимита

  • Период обновления бюджета можно настроить как ежедневный, еженедельный, ежемесячный или отключить для накопительного лимита

  • Явно заданный бюджет имеет приоритет над бюджетом по умолчанию

Вопросы и ответы

Что произойдет, если один и тот же запрос подпадает под несколько бюджетов?

Запрос должен одновременно укладываться во все лимиты. Если хотя бы один бюджет команды, проекта или API-ключа исчерпан, AI Gateway отклонит запрос, даже если в остальных бюджетах еще есть остаток.

Как устроены уведомления и сброс лимитов расходов?

Email-уведомления отправляются при достижении 50%, 75% и 100% бюджета. Период обновления лимита можно настроить как ежедневный, еженедельный, ежемесячный или полностью отключить для накопительного бюджета.

Как работают бюджеты по умолчанию для проектов и API-ключей?

Для проектов и API-ключей можно задать бюджет по умолчанию, который автоматически применяется ко всем сущностям без собственного лимита. Если для конкретного проекта или ключа задан отдельный бюджет, он имеет приоритет над общим.

Контекст по теме