AWS показала конвейер обработки документов с on-demand и batch inference на Amazon Bedrock
В блоге AWS разобран пример конвейера интеллектуальной обработки документов на Amazon Bedrock, где вместе используются режимы on-demand inference и batch inference. Идея проста: можно гибко балансировать между скоростью и стоимостью. Срочные запросы отправляются в on-demand inference, а batch inference берёт на себя массовую обработку и помогает снизить расходы. Решение предназначено для извлечения данных из документов с помощью large language models.
В качестве примера рассматривается ситуация, когда у компаний накапливаются сотни миллионов документов land lease в виде отсканированных PDF. Это файлы, где есть только изображения и нет редактируемого текста, при этом новые документы продолжают поступать каждый день. Архитектура строит два inference‑конвейера, on-demand и batch, а также механизм, который динамически выбирает нужный путь обработки. Через Amazon Bedrock Prompt Management управляют промптами: с их помощью данные извлекаются и приводятся к единому формату как из scan PDFs с разными структурами и соглашениями, так и из текстовых файлов. При необходимости можно задать конкретную large language model и набор промптов даже для отдельного документа.
В on-demand конвейере документы обрабатываются по одному, результат возвращается в течение секунд. Используется очередь AWS SQS First-In, First-Out (FIFO). Сообщение в ней содержит document ID, LLM model ID, prompt ID/version и system prompt ID/version. Когда сообщение попадает в очередь, срабатывает AWS Lambda function: она забирает PDF из указанного Amazon S3 bucket, превращает страницы PDF в PNG images, получает нужные промпты из Amazon Bedrock Prompt Management, формирует сообщение для вызова LLM и сохраняет результат в таблицу Amazon DynamoDB. После получения извлечённых данных Lambda function удаляет сообщение из очереди.
Ключевые факты
В примере решения используется интеллектуальный конвейер обработки документов с двумя режимами инференса на Amazon Bedrock: on-demand и batch.
On-demand pipeline обрабатывает документы по одному и возвращает извлечённые данные в течение секунд, что подходит для чувствительных ко времени запросов.
Batch pipeline обрабатывает несколько запросов документов в одном Amazon Bedrock batch inference job, где вызовы модели выполняются асинхронно.
В on-demand pipeline сообщение в AWS SQS FIFO с параметрами документа и промптов запускает AWS Lambda, которая получает PDF из Amazon S3, конвертирует страницы в PNG, вызывает модель и сохраняет результат в Amazon DynamoDB.