Towards Data Science описал подход к снижению затрат на LLM через «tokenminning»

Автор материала предлагает альтернативу «tokenmaxxing», практике бесконечно наращивать объём запросов к ИИ. Вместо этого он описывает более экономичный подход под названием «tokenminning», где задача состоит в систематическом сокращении числа токенов без потери качества работы ИИ-агентов. По его словам, лишние токены повышают стоимость инференса, увеличивают задержки и усложняют системы. К тому же большие промпты часто содержат избыточный контекст и перегруженный RAG.

Как сообщает Towards Data Science, предположение о том, что больший объём контекста автоматически делает ответы модели лучше, на практике подтверждается далеко не всегда. В тексте упоминается проблема «context rot»: при длинном контексте внимание модели распределяется менее эффективно, особенно в середине окна контекста. Автор считает, что индустрия постепенно смещает фокус с количества контекста на его качество.

В качестве примера он приводит собственный опыт использования ИИ-агентов в биотех-стартапе. Речь идёт о системах для анализа кода и автоматического unit-тестирования, управления ML-экспериментами, а также DevOps-задач в AWS. По оценке автора, применение Claude Opus 4 для таких задач без оптимизаций могло бы обходиться примерно в 40 $ в день. При этом некоторые инженеры, работающие с автономными агентами, по сообщениям коллег, тратят более 10 тыс. $ в неделю. На этом фоне крупные технологические компании, как утверждается в статье, уже начали вводить ограничения на использование ИИ.