Исследование вводит «cliff tokens», одиночные токены, запускающие ошибки в математических рассуждениях LLM
Исследователи описали способ находить отдельные токены, которые могут запускать сбой в цепочке рассуждений больших языковых моделей при решении математических задач. Хотя LLM нередко показывают высокую точность, траектории рассуждений для одной и той же задачи могут расходиться. Одни приводят к правильному ответу, другие заканчиваются ошибкой. Ранее такие сбои изучали на уровне шагов рассуждения, фрагментов текста или целых предложений. Были и работы, где внимание обращали на токены, в которых ошибка уже проявилась. Однако конкретный токен, запускающий переход к неудачному решению, до сих пор не выделяли.
Авторы вводят термин cliff token. Так называют токен, в котором «потенциал» на уровне токена резко падает ниже адаптивного порога. Порог масштабируется относительно локального значения потенциала и вычисляется с помощью one-sided two-proportion z-test. Как сообщает arXiv cs.AI (Artificial Intelligence), именно такие токены могут выступать триггерами сбоев в математическом рассуждении.
Эксперименты провели на семи моделях и трёх бенчмарках математического рассуждения: GSM1K, MATH500 и AIME 2025. Если удалить первый cliff token и сгенерировать ответ заново, показатель pass@64 восстанавливается до 1.0. Когда этот токен сохраняется, восстановление заметно ограничено и остаётся в диапазоне от 0.71 до 1.00.
Авторы также предложили таксономию cliff tokens. В неё входят типы deterministic, uncertain и sampled-off. Классификация строится на основе greedy choice и token entropy, причём у разных типов наблюдаются собственные вероятностные характеристики. По наблюдениям исследователей, такое разделение сохраняется и для моделей разных масштабов.
Ключевые факты
В работе вводится понятие cliff token, токена, где токен‑ориентированный потенциал резко падает ниже адаптивного порога, рассчитанного с использованием одностороннего two-proportion z-test.
Эксперименты проведены на семи моделях и трех бенчмарках математического рассуждения: GSM1K, MATH500 и AIME 2025.
Удаление первого cliff token и повторная генерация повышает pass@64 до 1.0, тогда как сохранение этого токена ограничивает восстановление значениями от 0.71 до 1.00.
Предложена таксономия cliff-токенов: deterministic, uncertain и sampled-off, определяемая по жадному выбору токена и энтропии; авторы утверждают, что она обобщается на модели разных масштабов.