Квантование может скрыто увеличивать вычислительные затраты у reasoning‑моделей
Исследователи заметили побочный эффект квантования в больших языковых моделях, которые ориентированы на рассуждение. Этот подход широко используют, чтобы снизить стоимость инференса. Однако привычные метрики, точность финального ответа и задержка на один токен, не показывают полной картины. Как сообщает arXiv cs.AI (Artificial Intelligence), низкобитное post-training квантование способно приводить к дополнительным вычислительным затратам во время тестирования.
Авторы работы обнаружили, что квантованные reasoning‑модели нередко строят более длинные цепочки рассуждений, даже когда итоговый ответ остаётся правильным. В экспериментах использовали бенчмарки математического рассуждения, генерации кода, научных вопросов и agentic tool-use. Результаты показали: квантование INT4 и INT3 может сохранять точность, но при этом увеличивает число токенов рассуждения. Из-за этого ожидаемое ускорение от более дешёвых операций на токен частично теряется, потому что сама генерация становится длиннее.
Чтобы зафиксировать этот эффект, авторы предложили метрику CoT Token Inflation Ratio. Она сравнивает длину цепочек рассуждений у квантованных и полноточных моделей, затем усредняет результат по всем оценочным бенчмаркам. Анализ также выявил изменения в поведении моделей. В рассуждениях появляется больше промежуточных шагов, а семантические повторения становятся заметно сильнее. В реальных системах обслуживания моделей это приводит к измеримым штрафам.
Ключевые факты
В работе arXiv:2606.25519v1 показано, что посттренировочная квантизация низкой разрядности может приводить к увеличению длины цепочки рассуждений у reasoning‑моделей даже при сохранении правильного ответа.
На бенчмарках математического рассуждения, генерации кода, научных вопросов и agentic tool‑use квантизация INT4/INT3 сохраняет точность, но увеличивает число reasoning‑токенов.
Авторы вводят метрику CoT Token Inflation Ratio, которая сравнивает длину рассуждений между квантованными и полноточными моделями в среднем по всем бенчмаркам.
Квантованные модели демонстрируют изменения в трассе рассуждений: больше промежуточных шагов и больше семантических повторов, что приводит к измеримым штрафам при реальном обслуживании.