В работе с ИИ‑моделями цена запроса зависит не только от длины текста. Влияет и то, как устроено кэширование префикса (prefix cache). Система может повторно использовать одинаковое начало промпта, если оно совпадает с уже обработанным запросом.
Если длинная часть промпта остаётся неизменной, модель берёт её из prefix cache и не обрабатывает заново. За счёт этого последующие запросы стоят дешевле. Поэтому длинные промпты с одинаковым началом при повторном использовании могут обходиться выгоднее.
А вот когда промпт короткий или его начало каждый раз меняется, кэш не срабатывает. Модели приходится заново прогонять весь текст. В такой ситуации даже короткий запрос может оказаться дороже длинного, если длинный повторяется.
Ключевые факты
В материале Журнала «Код» рассматривается ситуация, при которой короткий промпт может стоить дороже длинного.
Статья объясняет принцип работы механизма prefix cache и его использование для экономии при работе с промптами.
Публикация вышла в издании «Журнал «Код», программирование без снобизма».