Фреймворк ICT предлагает новый подход к оптимизации рассуждений LLM через анализ распределений токенов
В работе о методах улучшения рассуждений больших языковых моделей рассматривается проблема нестабильной оптимизации в Reinforcement Learning with Verifiable Rewards (RLVR). Авторы описывают типичную трудность: равномерные обновления токенов способны приводить к так называемому «коллапсу энтропии». В такой ситуации обучение слишком быстро сходится к неэффективным стратегиям.
Но существует и противоположная проблема. Если слишком активно максимизировать Shannon Entropy, возникает «взрыв энтропии». Модель начинает бесконтрольно исследовать пространство решений, а цепочки рассуждений теряют согласованность.
Для решения этой дилеммы предложен фреймворк Independent Combinatorial Tokens (ICT). Его идея в том, чтобы сместить оптимизацию: вместо скалярной неопределенности внимание переносится на распределительные свойства логитов токенов. В основе метода лежит Jensen-Shannon (JS) divergence между распределениями логитов. Такой подход позволяет находить токены с отличительными распределительными паттернами и рассматривать их как точки ветвления, которые направляют исследование во время рассуждения модели.
Теоретический анализ опирается на Shannon и энтропию Rényi второго порядка. Он показывает, что выборочное обновление именно этих токенов помогает регулировать концентрацию политики. По результатам работы, метод снижает общую неопределенность распределения, измеряемую Shannon entropy, и одновременно удерживает под контролем концентрацию вероятностей.
Ключевые факты
В работе arXiv:2606.19771v1 представлен фреймворк Independent Combinatorial Tokens (ICT) для обучения рассуждений LLM.
Авторы отмечают нестабильность оптимизации в Reinforcement Learning with Verifiable Rewards: равномерные обновления токенов приводят к entropy collapse и преждевременной сходимости, а чрезмерная максимизация Shannon Entropy вызывает entropy explosion и несвязные цепочки рассуждений.
ICT использует Jensen-Shannon divergence между распределениями token logits для выявления токенов с характерными распределительными паттернами и рассматривает их как точки ветвления при исследовании.
Теоретический анализ на основе Shannon entropy и second-order Rényi entropy показывает, что выборочные обновления таких токенов уменьшают общую неопределённость распределения по Shannon entropy и одновременно контролируют концентрацию вероятностей.