Метод структурного pruning для MoE‑моделей на основе атрибуции и покрытия каналов
Исследователи предложили новый метод сжатия для моделей класса Mixture-of-Experts (MoE). Такие модели хорошо масштабируют вычисления, но в реальном развёртывании остаются дорогими: им требуется много памяти, а инференс сопровождается заметными накладными расходами. Ранее применяемые методы компрессии обычно работают на уровне отдельных экспертов. Чаще всего экспертов просто удаляют или ранжируют по грубым оценкам важности. Авторы считают такой подход слишком грубым, потому что он не позволяет увидеть более мелкие избыточности внутри самих экспертов.
По их наблюдению, значительная часть информации в экспертах MoE сосредоточена лишь в небольшой доле каналов. Остальные параметры нередко оказываются избыточными даже у тех экспертов, которые считаются важными. Из этого наблюдения выросла идея структурного фреймворка pruning, специально адаптированного для MoE-моделей.
В предложенном методе распределение коэффициента pruning формулируется как задача максимизации покрытия оценок каналов. Для её решения используется приближение на основе атрибуции. Эксперименты на MoE-моделях DeepSeek и Qwen показывают, что модель сохраняет точность при 50% или 25% структурного pruning, если он применяется вместе с 4-bit quantization.
Ключевые факты
В работе предложен фреймворк структурного pruning для MoE‑моделей, который формулирует распределение коэффициента pruning как задачу максимизации покрытия channel‑score и решает её через attribution‑based аппроксимацию.
Эксперименты проведены на MoE‑моделях DeepSeek и Qwen.
Метод сохраняет точность моделей при 50% или 25% структурного pruning в сочетании с 4-bit quantization.
На модели Qwen3-30B-A3B подход уменьшает memory footprint в 5.27×.