Подход, при котором PDF обрабатывается как набор изображений, помогает обойти ограничения классических инструментов для извлечения текста. Как пишет KDnuggets, библиотеки вроде pdfplumber, PyPDF2 и pdfminer зависят от наличия текстового слоя внутри PDF. Если документ представляет собой скан, результат может оказаться пустым. В сложных макетах такие инструменты нередко извлекают текст без структуры и теряют связи между полями.
Авторы предлагают другой вариант: рендерить каждую страницу PDF в изображение и передавать его vision-language модели Gemma 4. В этом случае модель анализирует страницу визуально, без OCR-пайплайна, парсера макета и шаблонов под конкретные типы документов. В статье описан локальный пайплайн для обработки счетов поставщиков. Из документов извлекаются название компании, номер счета, позиции, итоговые суммы и дата оплаты, после чего данные сохраняются в структурированном JSON.
В материале отмечается, что такой подход одинаково подходит и для цифровых PDF с текстовым слоем, и для сканированных документов. Отдельно авторы выделяют сохранение структуры документа. Модель воспринимает таблицы, колонки и формы как визуальные объекты, тогда как традиционные инструменты часто смешивают содержимое колонок и теряют контекст строк и ячеек.
Gemma 4 выпущена Google DeepMind 2 апреля 2026 года под лицензией Apache 2.0. Модель поддерживает обработку документов и PDF, а также OCR, распознавание рукописного текста и анализ экранов. Она может работать полностью локально, без API и облачных вызовов. Для изображений доступны бюджеты визуальных токенов 70, 140, 280, 560 и 1120, благодаря чему можно выбирать между скоростью и качеством разбора.
Ключевые факты
Gemma 4 выпущена Google DeepMind 2 апреля 2026 года под лицензией Apache 2.0
Модель поддерживает бюджеты визуальных токенов 70, 140, 280, 560 и 1120 на изображение
В статье описан локальный пайплайн для извлечения из счетов названия поставщика, номера счета, позиций, итоговой суммы и даты оплаты в JSON
Для оценки качества разбора документов упоминается бенчмарк OmniDocBench 1.5, где лучшую метрику edit distance показывает версия 31B