«Гниение контекста»: почему увеличение окна контекста может ухудшать ответы ИИ
За последние два года окно контекста у языковых моделей заметно выросло. Если раньше впечатляющей казалась поддержка примерно 200,000 tokens, то теперь некоторые системы заявляют уже о миллионах tokens. На бумаге идея звучит отлично: можно загрузить в модель весь код проекта, базу знаний и длинную историю диалогов. Но на практике инженеры, которые работают с такими системами, все чаще видят обратную картину. Чем больше контекст, тем расплывчатее ответы, точность падает, а ключевые инструкции иногда просто игнорируются.
Это явление называют context rot. Речь о деградации фактического качества рассуждений модели по мере роста объёма информации в окне контекста, даже если оно заполнено далеко не полностью. Проблема в том, что модель не использует все tokens одинаково эффективно. Механизм attention распределяет вычислительные ресурсы между всеми элементами контекста, и по мере его роста системе труднее понять, какие фрагменты действительно важны. Как отмечается в материале Towards AI, в длинных контекстах хуже выполняются инструкции, данные из середины текста чаще теряются (эффект «lost in the middle»), а нерелевантная информация способна увести модель в сторону от нужного сигнала.
Техническая причина связана с устройством transformer‑моделей. Каждый token сопоставляется с каждым другим token. Когда длина контекста растет, число таких связей увеличивается квадратично, а внимание модели распределяется по гораздо более широкому пространству. Отсюда дополнительные задержки и рост стоимости вычислений, при том что качество ответа может и не улучшиться. На практике такие проблемы хорошо заметны в agentic systems, RAG pipelines и системах с multi-turn memory. Один из типичных симптомов, разрастающаяся память агентов (agent memory bloat).
Ключевые факты
Два года назад контекстное окно в 200 000 токенов считалось значительным, тогда как некоторые современные модели рекламируют окна размером в миллионы токенов.
Явление «context rot» описывает ухудшение эффективного качества рассуждений модели по мере роста объема информации в контекстном окне, даже если окно далеко от предельного размера.
Исследователи отмечают эффект «lost in the middle»: модели заметно лучше находят информацию в начале или конце контекста, чем в его середине.
В трансформерных моделях каждый токен сопоставляется с каждым другим, поэтому число таких связей растет квадратично по мере увеличения длины контекста.