По мере роста проекта качество работы ИИ-агентов нередко падает не из-за самой модели, а из-за ограничений контекста. В материале Tproger разбирается, как устроено контекстное окно LLM и почему агент может забывать недавние изменения, предлагать удалить уже существующие функции или генерировать код, который противоречит архитектуре проекта.
Контекстное окно включает промпт, историю диалога, файлы, ссылки и другие данные, которые модель получает вместе с запросом. При этом у LLM нет долговременной памяти: после завершения генерации информация о сессии не сохраняется. Если нужный файл или зависимость не попали в контекст, модель просто не учитывает их при формировании ответа.
Как отмечается в статье, увеличение контекстного окна само по себе не всегда решает проблему. Исследование Lost in the Middle 2023 года показало, что модели лучше обрабатывают информацию в начале и конце входного текста, тогда как данные из середины могут теряться. Поэтому при работе с большими кодовыми базами используют chunking, RAG и суммаризацию, а также подбирают модель с более подходящим объемом контекста.
Ключевые факты
В базовой модели ChatGPT 5 указано контекстное окно на 16 000 токенов, в платных версиях, до 400 000
Через API-платформы вроде RouterAI доступен контекст до 1 млн токенов
Контекстное окно может включать промпт, историю диалога, файлы, ссылки, сообщения пользователя и найденные части кода