CompressKV предлагает семантический подход к сжатию KV‑кэша для длинного контекста в LLM

Исследователи предложили метод CompressKV, фреймворк для сжатия KV‑кэша, который делает инференс больших языковых моделей с длинным контекстом более экономным по ресурсам. При работе таких моделей основная нагрузка ложится на память и на операции декодирования ключ‑значение кэша. Из‑за этого становится сложнее стабильно разворачивать системы на оборудовании с ограниченными ресурсами. Как сообщает arXiv cs.AI (Artificial Intelligence), новая схема рассчитана на модели на базе GQA и предлагает другой подход к выбору токенов, чьи KV‑пары стоит сохранять в кэше.

Обычно методы вытеснения KV‑кэша опираются на эвристику: важность токенов оценивают по суммарным attention‑оценкам сразу по всем головам. Проблема в том, что такой расчет не учитывает различия в функциях отдельных attention‑голов. В результате из кэша могут исчезать действительно важные токены, и качество модели падает. В CompressKV применён иной принцип. Метод выделяет так называемые Semantic Retrieval Heads (SRHs). Они отслеживают начальные и конечные токены запроса, а также семантически значимые фрагменты в середине контекста, после чего именно на их основе выбираются элементы, которые нужно оставить в кэше.

Кроме того, система распределяет бюджет кэша между слоями модели, используя офлайн‑оценки layer‑wise eviction error. В экспериментах на бенчмарках LongBench и Needle-in-a-Haystack подход стабильно показывает лучшие результаты по сравнению с существующими методами вытеснения KV‑кэша.