В материале о работе с LLM-приложениями автор разбирает, как модели взаимодействуют с контекстом. Они не сохраняют память о пользователе между запросами: история диалога каждый раз заново передается через API. Механизм, который определяет объем доступного контекста, называется context window.
Как сообщает Towards AI, многие команды недооценивают практическое значение context window и задумываются об управлении контекстом уже после того, как сталкиваются с проблемами масштабирования. В статье context window сравнивают с оперативной памятью для LLM-приложений. Сам подход к работе с ним автор сопоставляет с ранними практиками управления памятью до появления garbage collection.
Материал посвящен практическим подходам к token budgeting, context pruning и conversation compression. Автор подает текст как вводное руководство без сложного кода и специализированного жаргона.
Ключевые факты
В статье context window описывается как аналог оперативной памяти для LLM-приложений.
Автор утверждает, что модель начинает каждый запрос без сохраненной памяти о предыдущих сообщениях.
Материал рассматривает token budgeting, context pruning и conversation compression.
Текст подается как практическое руководство без сложного кода и технического жаргона.