«Налог на окно контекста»: почему увеличение памяти моделей может снижать надёжность AI‑агентов
Гонка за всё более длинными окнами контекста, 128K, 200K, a million и two million токенов, создаёт у разработчиков ощущение, будто модель действительно может «помнить всё». Маркетинговое обещание звучит привлекательно: загрузите целую кодовую базу, всю историю поддержки или год заметок со встреч, и система сама найдёт нужное.
Из-за этого многие инженерные команды начали полагаться на одно лишь увеличение контекста. RAG‑пайплайны убирают, промпты формулируют менее тщательно, а само окно контекста воспринимают как простой масштабируемый ресурс. Если возникает проблема, кажется, что достаточно просто добавить ещё токенов.
На практике всё выглядит менее гладко. Такой подход всё чаще приводит к скрытым сбоям, росту задержек и затратам. Некоторые разработчики даже используют для этого отдельное выражение: «context window tax». Дело в том, что механизм внимания в трансформерах работает не как равномерная память. Модель распределяет ограниченный «бюджет внимания» между всеми токенами внутри окна. Когда окно увеличивается, её способность учитывать информацию не становится бесконечной, внимание просто делится между большим объёмом данных.
Исследования длинных контекстов показывают характерную U‑образную кривую. Модели заметно лучше используют информацию в начале и в конце промпта и хуже справляются с серединой. Этот эффект известен как «lost in the middle». В демонстрационном чат‑боте это может показаться мелочью. Но для систем, которые должны анализировать 40-page contract, длинные обсуждения в Slack или multi-file pull request, это уже практическая проблема. Важный фрагмент может оказаться буквально «похоронен» внутри контекста и остаться без внимания.
Ситуация становится ещё рискованнее в агентных системах. Если модель пропускает важную инструкцию или ограничение, она не сообщает об ошибке. Вместо этого появляется уверенный и правдоподобный ответ, в котором просто отсутствует нужная деталь. Никакого сигнала вроде «модель проигнорировала строку 4,200 вашего system prompt» не возникает. Ошибка может обнаружиться значительно позже, когда результат уже использовали в следующих шагах системы.
Ключевые факты
В индустрии активно продвигаются модели с увеличенными контекстными окнами, 128K, 200K, 1M и 2M токенов, с обещанием, что модель сможет «помнить» весь переданный ей материал.
Некоторые инженерные команды начали отказываться от RAG‑пайплайнов, полагая, что при большом контекстном окне извлечение информации больше не требуется.
Исследования длинного контекста показывают U‑образную кривую качества: модели лучше используют информацию в начале и конце промпта и заметно хуже, в середине; эффект известен как «lost in the middle».
Проблема проявляется на практических задачах, например при анализе длинных документов вроде контракта на 40 страниц или длинных обсуждений, где важная информация может находиться в середине текста.