RFC предлагает ограничивать расходы AI-агентов через резервирование бюджета на уровне сессии

Ajay Rajput опубликовал черновик RFC, посвященный контролю расходов AI-агентов в LLM-шлюзах. В документе предлагается подход, при котором бюджет закрепляется не за API-ключом или командой, а за конкретным запуском агента.

Автор обращает внимание на проблему агентных систем: они многократно пересылают растущий контекст, из-за чего расходы быстро увеличиваются. По его оценке, уже к 20-му шагу один запрос с чтением файлов может превысить 50 тыс. входных токенов.

Как сообщает Hacker News, в RFC есть примеры резкого роста затрат. Один разработчик получил счет на 4200 $ после выходных автономного рефакторинга. У команды из 35 инженеров ежемесячный счет достиг 87 тыс. $. Также в документе упоминается аудит 30 команд, где разница между p10 и p90 по расходам на одного разработчика при одинаковом наборе инструментов доходила до 20 раз.

В RFC предлагается система «атомарного» резервирования бюджета до обращения к провайдеру модели с последующим пересчетом по фактическому потреблению. Проект описывает отдельный слой принятия бюджетных решений с режимами allow, downgrade, advisory_warn и block.

Среди предложенных механизмов упоминаются блокировка моделей без известной цены, машиночитаемые уведомления о состоянии бюджета, а также распределение расходов по пользователям, функциям и командам без привязки к тегам биллинга у провайдера.