«Экономия токенов» может мешать рассуждению AI‑агентов

Разработка AI сегодня упирается в архитектурное противоречие. Компании дорого платят за frontier‑модели и рассчитывают на более глубокий синтез, multi-hop reasoning, работу с широким контекстом и способность принимать решения в условиях неопределённости. Но параллельно многие инженерные команды вводят режим «token austerity»: агрессивно урезают контекст, чтобы снизить задержки, стоимость API и требования к памяти, включая узкое место KV cache. Как пишет Towards AI, если зайти в этом слишком далеко, подходы начинают конфликтовать. Мощным моделям дают чрезмерно очищенное и сжатое описание реальности, хотя их сила как раз проявляется при работе с неполными и неоднозначными данными.

В агентных системах особенно важен этап, на котором реальный мир превращается в контекст для модели. Этот процесс описывают цепочкой Raw World → Data → Context → Attention → Reasoning → Action. Агент фактически взаимодействует не с самой реальностью, а с тем её представлением, которое система извлечения и сжатия пропустила в окно контекста. Поэтому контекст‑инжиниринг становится частью механизма принятия решений. В 2026 году появились подходы вроде Latent Context Language Models (LCLMs). Они способны сжимать последовательности токенов до латентных представлений и уменьшать контекст до 16x ещё до того, как он попадёт в декодер.

Однако чрезмерное уплотнение может привести к эффекту «premature closure». Архитектура как будто заранее решает, что именно модель должна знать, ещё до анализа материала. Удалять повторы или лишнее форматирование иногда полезно. Но когда из данных исчезают неоднозначности, противоречивые свидетельства или временные последовательности, модель теряет условия для полноценного рассуждения. В итоге агент выдаёт гладкий и убедительный ответ, который плохо отражает реальную сложность исходных данных.

Исследователи также отмечают, что важные выводы часто возникают на краях данных: в аномалиях, противоречиях, неожиданных сигналах. Сильная компрессия контекста сглаживает эту структуру. При анализе продвинутых архитектур извлечения, включая GraphRAG, обнаружилась серьёзная проблема, «reasoning bottleneck». Даже если система извлекает правильные факты и помещает их в контекст, сама форма представления информации может ограничивать возможности модели для рассуждения.