Huntington Bank обработал более 400 млн документов и автоматизировал редактирование чувствительных данных с помощью AWS
The Huntington National Bank, входящий в топ‑10 банков США, столкнулся с непростой задачей: нужно было найти и удалить конфиденциальные данные в огромном архиве документов, накопленных почти за десятилетие. С 2015 года система управления документами банка хранит сотни миллионов файлов в локальной инфраструктуре. В 2025 году в рамках инициативы по соблюдению требований комплаенса банк запустил проект по обработке этого массива и редактированию чувствительной информации в документах разных форматов. По первоначальным оценкам такая работа могла растянуться на годы.
Как сообщает AWS Machine Learning Blog, банк построил масштабируемый процесс обработки на базе Amazon Textract, Amazon SageMaker, AWS Step Functions и AWS Lambda. Благодаря этому сроки проекта сократились с нескольких лет до нескольких месяцев, а точность редактирования превысила 95%. К системе предъявлялись строгие требования: шифрование данных при хранении и передаче, жесткий контроль доступа к местам хранения и обработки, использование сервисов в рамках требований PCI DSS compliance. Отдельным условием был возврат обработанных результатов обратно в локальные хранилища.
Чтобы перенести более 400 миллионов документов из локального файлового хранилища в Amazon S3, использовали AWS DataSync, AWS Direct Connect и AWS Key Management Service (AWS KMS). Данные шифровались и при передаче, и при хранении. AWS DataSync разворачивался как агент в локальном дата‑центре и мог синхронизировать данные обратно в on‑premises‑системы. Это было одним из ключевых требований проекта.
Для обнаружения конфиденциальной информации применялся Amazon Textract. Сервис извлекает текст, таблицы и формы из сканированных документов и возвращает найденные поля вместе с координатами и метаданными в формате JSON. Его встроили в оркестрацию через AWS Step Functions. В результате объем ручной проверки снизился, а точность обнаружения чувствительных данных при обработке больших массивов документов выросла. Чтобы ускорить обработку миллионов документов в день, банк масштабировал параллельные задания Amazon Textract и регулировал скорость запросов, чтобы не упираться в квоты сервиса.
Ключевые факты
Huntington разработал решение на AWS для поиска и редактирования PII и PCI более чем в 400 млн документов.
Требование проекта предусматривало точность редактирования не ниже 95% для соответствия требованиям комплаенса.
Документы хранились в системе управления документами банка on‑premises с 2015 года.
В рамках инициативы 2025 года банк перенёс документы в Amazon S3 и построил конвейер обработки с использованием Amazon Textract, Amazon SageMaker, AWS Step Functions и AWS Lambda, сократив время обработки с лет до нескольких месяцев.