Как внедряли генеративный ИИ в финансовый продукт с реальными транзакционными данными

Автор материала рассказал, как запускали генеративный ИИ в промышленной системе финансовой отчетности, которая работает с реальными данными по счетам и транзакциям. Речь шла не о прототипе, а о production-среде с круглосуточным мониторингом. Главной проблемой, по его словам, оказалось не написание промптов, а инфраструктура вокруг модели: управление моделями, проверка соответствия требованиям, настройка пайплайнов и сопоставление финансовых кодов с использованием fuzzy-логики.

Команда стартовала не с выбора модели, а с задач аналитиков. Для системы определили три отдельных сценария: подготовку кратких и подробных сводок по отчетам, генерацию плана действий на основе документа и доработку существующего плана с учетом новых вводных. Как сообщает Towards AI, под каждый сценарий сделали отдельный endpoint с жестким контрактом. На вход поступали структурированные финансовые данные, запросы проходили через JWT-аутентификацию, а на выходе система возвращала текстовый результат.

Одну модель для всех задач использовать не стали. Для разных endpoint выбрали модели с разными требованиями к скорости, стоимости и качеству ответа. Управление версиями и выбор моделей централизовали на уровне платформенной команды. Это позволило прикладным командам не заниматься отслеживанием model drift и менять модели без переписывания продукта.

Отдельное внимание автор уделил проверке корректности результатов. Для этого создали независимый validation pipeline, который обрабатывал ответы ИИ как недоверенный ввод. Система нормализовала внутренние коды, расширяла список связанных идентификаторов и проверяла совпадения по двум критериям: точному соответствию кодов и fuzzy-сопоставлению описаний с настраиваемым порогом сходства. На ранних этапах доля совпадений при строгом сравнении кодов была на уровне «высоких десяти процентов». После добавления fuzzy-сравнения и гибридной оценки эффективность проверки примерно удвоилась.