Почему чат-боты «сходят с роли» в длинных диалогах: эффект дрейфа, а не амнезии

В длинных переписках с LLM поведение ботов постепенно может отходить от заданных правил, даже если системный промпт не меняется. Сначала всё выглядит аккуратно: модель в нескольких первых ответах точно следует инструкции, например пишет коротко и без markdown. Но после десятков реплик формат начинает «плыть». Появляются списки, заголовки, разные выделения.

Как сообщает Towards AI, такой эффект наблюдали даже у чат‑бота, который специально настраивали под стиль обычной переписки. Примерно после сорока сообщений он начал возвращаться к более «роботизированному» оформлению ответов. При этом запрет на markdown всё ещё оставался в системном промпте.

Исследователи подчёркивают, что дело не в забывчивости модели. Работа 2025 года от Microsoft Research и Salesforce Research (Laban et al., «LLMs Get Lost in Multi‑Turn Conversation») показала другую картину. По мере удлинения диалога базовая способность модели снижается лишь примерно на 16%. Зато нестабильность ответов, разрыв между лучшими и худшими вариантами, растёт более чем вдвое, на 112%. Иными словами, правило по‑прежнему известно модели, но применяет она его всё менее последовательно по мере роста переписки.

Причину связывают с тем, как LLM обрабатывают контекст разговора. Все сообщения, системный промпт, реплики пользователя и ответы модели собираются в одну длинную последовательность текста. Внутри неё внимание распределяется неравномерно. В исследовании «Lost in the Middle» (Liu et al., TACL 2024) показано, что модели лучше используют информацию в начале и в конце контекста, а заметно хуже справляются, когда нужные данные находятся в середине. Позднее работа «Found in the Middle» (Cheng‑Yu Hsieh et al., ACL Findings 2024) связала этот эффект с механизмами внимания внутри моделей. Они склонны уделять больше внимания токенам в начале и в конце входа, даже если их релевантность ниже.