Почему сравнение ChatGPT с автодополнением вводит в заблуждение
Модели вроде ChatGPT часто описывают как систему автодополнения текста. Логика понятна: получив фразу, модель предсказывает следующий токен и добавляет его к ответу. Формально всё так и работает, генерация действительно идёт по одному токену за шаг. Но такое сравнение передаёт лишь внешнюю механику и почти ничего не говорит о том, как появляются объяснения, аргументы, планы, диалоги или программный код.
Как пишет Towards AI, перед тем как выбрать следующий токен, трансформерная языковая модель формирует сложное внутреннее состояние высокой размерности. Оно собирается из всего входного текста и отражает тему, контекст, тон, намерение и возможные направления ответа. При этом токены не трактуются как изолированные слова. Через механизм attention они рассматриваются относительно друг друга, поэтому модель может учитывать вопрос, ограничения, определения или метафоры, которые присутствуют в запросе.
Когда это внутреннее представление сформировано, модель проецирует небольшую его часть на словарь и выбирает следующий токен. Затем этот токен добавляется к тексту, после чего цикл запускается снова, уже с более длинным контекстом. Итоговый ответ постепенно складывается из множества таких шагов.
Поэтому слово «autocomplete» описывает только видимую последовательность генерации. В реальности модель не просто дописывает строку. Она снова и снова переосмысливает смысл входного контекста и каждый раз переводит часть своего внутреннего представления обратно в язык, формируя ответ по одному токену за шаг.
Ключевые факты
В transformer‑моделях вроде ChatGPT генерация ответа происходит по одному токену за шаг; токен может соответствовать слову или его фрагменту.
Перед генерацией каждого токена модель формирует высокоразмерное внутреннее состояние, отражающее тему, контекст, тон и намерение ответа.
Следующий токен выбирается не напрямую из исходного текста запроса, а из внутреннего представления, построенного из текста с использованием механизма attention.
После выбора токен добавляется к входной последовательности, и модель заново пересчитывает состояние уже для более длинного текста, повторяя цикл генерации.