Почему ИИ-агенты начинают ошибаться на крупных кодовых базах

По мере роста проекта качество работы ИИ-агентов нередко падает не из-за самой модели, а из-за ограничений контекста. В материале Tproger разбирается, как устроено контекстное окно LLM и почему агент может забывать недавние изменения, предлагать удалить уже существующие функции или генерировать код, который противоречит архитектуре проекта.

Контекстное окно включает промпт, историю диалога, файлы, ссылки и другие данные, которые модель получает вместе с запросом. При этом у LLM нет долговременной памяти: после завершения генерации информация о сессии не сохраняется. Если нужный файл или зависимость не попали в контекст, модель просто не учитывает их при формировании ответа.

Как отмечается в статье, увеличение контекстного окна само по себе не всегда решает проблему. Исследование Lost in the Middle 2023 года показало, что модели лучше обрабатывают информацию в начале и конце входного текста, тогда как данные из середины могут теряться. Поэтому при работе с большими кодовыми базами используют chunking, RAG и суммаризацию, а также подбирают модель с более подходящим объемом контекста.