Автор материала предлагает альтернативу «tokenmaxxing», практике бесконечно наращивать объём запросов к ИИ. Вместо этого он описывает более экономичный подход под названием «tokenminning», где задача состоит в систематическом сокращении числа токенов без потери качества работы ИИ-агентов. По его словам, лишние токены повышают стоимость инференса, увеличивают задержки и усложняют системы. К тому же большие промпты часто содержат избыточный контекст и перегруженный RAG.
Как сообщает Towards Data Science, предположение о том, что больший объём контекста автоматически делает ответы модели лучше, на практике подтверждается далеко не всегда. В тексте упоминается проблема «context rot»: при длинном контексте внимание модели распределяется менее эффективно, особенно в середине окна контекста. Автор считает, что индустрия постепенно смещает фокус с количества контекста на его качество.
В качестве примера он приводит собственный опыт использования ИИ-агентов в биотех-стартапе. Речь идёт о системах для анализа кода и автоматического unit-тестирования, управления ML-экспериментами, а также DevOps-задач в AWS. По оценке автора, применение Claude Opus 4 для таких задач без оптимизаций могло бы обходиться примерно в 40 $ в день. При этом некоторые инженеры, работающие с автономными агентами, по сообщениям коллег, тратят более 10 тыс. $ в неделю. На этом фоне крупные технологические компании, как утверждается в статье, уже начали вводить ограничения на использование ИИ.
Ключевые факты
Автор оценивает потенциальные расходы на Claude Opus 4 примерно в 40 $ в день без оптимизаций.
В статье упомянуты ИИ-агенты для анализа кода, автоматического unit-тестирования, управления ML-экспериментами и DevOps-задач в AWS.
По словам автора, при длинном контексте модели хуже удерживают внимание к информации в середине окна контекста.
Некоторые инженеры, по сообщениям автора, тратят более 10 тыс. $ в неделю на автономных ИИ-агентов.