Ajay Rajput опубликовал черновик RFC, посвященный контролю расходов AI-агентов в LLM-шлюзах. В документе предлагается подход, при котором бюджет закрепляется не за API-ключом или командой, а за конкретным запуском агента.
Автор обращает внимание на проблему агентных систем: они многократно пересылают растущий контекст, из-за чего расходы быстро увеличиваются. По его оценке, уже к 20-му шагу один запрос с чтением файлов может превысить 50 тыс. входных токенов.
Как сообщает Hacker News, в RFC есть примеры резкого роста затрат. Один разработчик получил счет на 4200 $ после выходных автономного рефакторинга. У команды из 35 инженеров ежемесячный счет достиг 87 тыс. $. Также в документе упоминается аудит 30 команд, где разница между p10 и p90 по расходам на одного разработчика при одинаковом наборе инструментов доходила до 20 раз.
В RFC предлагается система «атомарного» резервирования бюджета до обращения к провайдеру модели с последующим пересчетом по фактическому потреблению. Проект описывает отдельный слой принятия бюджетных решений с режимами allow, downgrade, advisory_warn и block.
Среди предложенных механизмов упоминаются блокировка моделей без известной цены, машиночитаемые уведомления о состоянии бюджета, а также распределение расходов по пользователям, функциям и командам без привязки к тегам биллинга у провайдера.
Ключевые факты
RFC помечен как Draft v3 и датирован июлем 2026 года
Автор документа, Ajay Rajput; целевая аудитория, platform и infra engineers, работающие с LLM gateways
В документе упомянуты регрессии контроля бюджета в LiteLLM, включая issues #26672, #27381 и #27480
RFC предлагает передавать состояние бюджета через response headers и ошибки RFC 9457, чтобы агент мог адаптировать поведение во время выполнения