Почему пилоты AI-обработки документов ломаются после запуска в прод

Команды, которые внедряют AI для обработки документов, нередко сталкиваются с проблемами уже после успешного пилота. В материале Towards AI приводится пример: система показывала 95% точности на 20 счетах от одного поставщика, а через шесть недель начала незаметно терять строки в документах с другой версткой. Ошибки не вызывали сбоев, поэтому их заметили только спустя несколько месяцев, во время сверки данных.

Автор пишет, что причина обычно связана не с самим извлечением данных, а с отсутствием инфраструктуры вокруг процесса. Речь о различиях в макетах документов, отсутствии слоя валидации и механизмах обработки исключений. По его словам, именно на этом этапе многие проекты AI Document Processing начинают сбоить после выхода из пилота.

В статье AI Document Processing описывается как цепочка из четырех этапов: загрузка документа, анализ структуры, извлечение данных и передача результата в JSON или другие системы. OCR и LLM здесь выполняют разные задачи. OCR преобразует изображение в текст, а LLM уже работает с этим текстом и извлекает нужные поля.

Отдельно автор обращает внимание на проблему потери структуры документа. Обычный OCR может превратить банковскую выписку с колонками в сплошной текст, где теряются связи между датами, суммами и балансами. По мнению автора, без layout-aware parsing LLM получает вместо документа набор «шума». Из-за этого качество извлечения начинает сильно различаться между шаблонами разных банков и поставщиков.