Новости

Baidu представила модель Unlimited-OCR с постоянным KV cache для работы с длинными документами

Обновлено: 27 июня 2026 г.

Почему это важно

Подход с постоянным KV‑кэшем может означать снижение вычислительных издержек и предсказуемую задержку при работе с длинными документами, что важно для продуктов, обрабатывающих большие объёмы текстов и сканов. Такой механизм также сигнализирует о попытке решить системное ограничение LLM‑декодеров, где память и скорость деградируют по мере роста последовательности. Если метод окажется универсальным, он укладывается в тренд на архитектурные оптимизации для длинных последовательностей в задачах вроде парсинга документов и генерации кода.

Baidu представила OCR‑модель Unlimited-OCR для работы с длинными документами. Её цель, обрабатывать большие тексты без роста потребления памяти во время декодирования. У подобных систем есть известная проблема: в архитектурах с декодером KV cache увеличивается линейно, из‑за чего генерация длинных последовательностей замедляется. Как сообщает Pandaily, в новой модели используется механизм Reference Sliding Window Attention (R-SWA), который переводит рост KV cache из линейного в постоянный.

R-SWA организует внимание так, что на каждом шаге генерации модель опирается на два фиксированных набора. Первый включает все reference‑токены, то есть визуальные токены и prompts. Второй состоит из последних 128 сгенерированных токенов. Визуальные токены остаются доступными постоянно, а окно выходных токенов постепенно сдвигается. Благодаря этому старые данные «забываются» мягко, без полного очищения памяти. Модель построена на архитектуре DeepSeek-OCR DeepEncoder. Используется каскад SAM-ViT и CLIP-ViT с 16x token compression, что позволяет сократить страницу PDF размером 1024x1024 до 256 визуальных токенов. Архитектура самой модели представляет собой MoE на 3B параметров с 500M активируемых параметров, при этом все слои attention заменены на R-SWA.

На бенчмарке OmniDocBench v1.6 система показала суммарный результат 93.92% и достигла SOTA. Для сравнения, DeepSeek-OCR на версии v1.5 набирала 87.01%, разница превышает шесть процентных пунктов. Text edit distance снизился с 0.073 до 0.038. Метрика formula CDM выросла с 83.37 до 92.61, а показатель таблиц TEDS увеличился с 84.97 до 90.93.

В тестах длинных документов модель обрабатывала 20‑страничные файлы за один проход с edit distance 0.0572 и 99.89% Distinct-35. Для документов на 40+ страниц edit distance составил 0.1069 при 96.90% Distinct-35. Пропускная способность достигает 5,580 TPS на OmniDocBench против 4,951 TPS у DeepSeek-OCR, рост составляет 12.7%. Задержка на вызов остаётся постоянной независимо от длины последовательности, тогда как у DeepSeek-OCR она увеличивается линейно. Исследователи отмечают, что механизм R-SWA может применяться и в других задачах длинных последовательностей, включая document parsing и code generation.

Ключевые факты

Baidu представила модель Unlimited-OCR, которая использует механизм Reference Sliding Window Attention (R-SWA) для сжатия KV cache с линейного роста до постоянного при декодировании.
На бенчмарке OmniDocBench v1.6 модель набрала 93.92% общего результата, превзойдя показатель DeepSeek-OCR 87.01% на версии v1.5 более чем на шесть процентных пунктов.
Unlimited-OCR, это MoE‑модель на 3B параметров с 500M активируемых параметров, построенная на архитектуре DeepSeek-OCR DeepEncoder с каскадом SAM-ViT и CLIP-ViT и 16x сжатием токенов, уменьшающим страницу PDF 1024x1024 до 256 визуальных токенов.
Пропускная способность достигает 5,580 TPS на OmniDocBench против 4,951 TPS у DeepSeek-OCR, что соответствует приросту на 12.7%.