Prompt caching позволяет сократить расходы на AI-запросы без изменения ответов модели

Механизм prompt caching позволяет сократить стоимость повторной обработки одинаковых частей запроса к языковой модели до 90%. Это актуально для приложений, которые регулярно отправляют одни и те же system prompt, tool definitions или справочные документы. Как пишет Towards AI, функция уже есть у крупных AI-провайдеров, однако многие команды до сих пор не используют её в production-сервисах.

Принцип работы довольно простой: модель сохраняет обработанное состояние неизменяемой части промпта и при следующих запросах не пересчитывает эти токены заново. В материале подчёркивается, что на качество или содержание ответа это не влияет. Модель выполняет те же вычисления, просто пропускает повторную обработку уже известных данных. В некоторых случаях для активации caching достаточно добавить в запрос одно дополнительное поле.

В статье также приводится пример чат-бота с system prompt объёмом 5000 токенов и 10 тыс. диалогов в день. При таком сценарии сервис ежедневно повторно отправляет 50 млн токенов только для системных инструкций. Авторы отдельно отмечают, что caching работает лишь при точном совпадении начала промпта. Поэтому неизменяемые инструкции и документы советуют размещать в начале запроса, а пользовательские данные добавлять в конце.