Как пишет Habr, кеш провайдера устроен как префиксное дерево по токенам и работает только до первого расхождения с предыдущим запросом. Если строка Current time: {datetime.now()} стоит в начале системного промпта, время меняется на четвёртом слове. Из-за этого остальные две тысячи токенов с политиками и базой знаний приходится каждый раз оплачивать заново.
Автор проверил это на живых вызовах DeepSeek. Один и тот же агент получил одни и те же четыре вопроса в одну и ту же минуту, менялось только расположение времени. В первом случае попаданий в кеш не было, во втором из него прочитали 1152 токена из 1180.
В материале есть и результаты профилирования 97 877 вызовов Claude Code. Из 32,5 млрд входных токенов 98% были прочитаны из кеша. Кешированные токены стоили в 10–31 раз дешевле: у DeepSeek указаны 0,44 $ против 0,014 $ за миллион токенов, у OpenAI, 4,00 $ против 0,40 $.
Ключевые факты
В тесте DeepSeek перенос времени изменил результат с нуля попаданий в кеш до 1152 токенов из 1180.
Профилирование охватило 97 877 вызовов Claude Code и 32,5 млрд входных токенов, 98% из которых были прочитаны из кеша.
Для DeepSeek указана цена 0,44 $ против 0,014 $ за миллион токенов, для OpenAI, 4,00 $ против 0,40 $.
Вопросы и ответы
- Как исправить промпт, чтобы динамическое время не отключало кеш?
Перенести строку
Current time: {datetime.now()}из начала системного промпта ниже неизменяемых политик и базы знаний. В тесте это увеличило объём кешированных данных с нуля до 1152 из 1180 токенов.- Как кеширование влияет на стоимость входных токенов?
Кешированные токены стоили в 10–31 раз дешевле: у DeepSeek 0,014 $ вместо 0,44 $ за миллион токенов, у OpenAI 0,40 $ вместо 4,00 $.
- Насколько заметен эффект кеша при большом объёме запросов?
При профилировании 97 877 вызовов Claude Code из кеша прочитали 98% от 32,5 млрд входных токенов.
Контекст по теме
- Серверы-приманки зафиксировали попытки взлома Bitrix-стенда и обращения к шлюзу доступа к ИИ19 августа 2026 г.
- MiCA, ограничения для россиян и проблемы Strategy обсудили в «Деконструкции»4 июля 2026 г.
- Власти США ограничили две ИИ‑модели Anthropic на фоне других технологических событий недели14 июня 2026 г.
- Microsoft ограничила доступ к десяткам репозиториев на GitHub после атаки на пользователей Claude Code13 июня 2026 г.