Автор статьи описывает проблему, с которой сталкиваются компании при проверке решений ИИ-моделей. К моменту аудита исходные пользовательские данные уже могут быть удалены из-за retention-политик или запросов клиентов на удаление данных. В результате у команды остаются веса модели, код и версия, но нет точного набора признаков, на основе которого модель приняла решение.
Как сообщает Towards AI, вместо хранения полной истории предлагается использовать synthetic databases: синтетические реляционные наборы данных, которые воспроизводят статистические свойства и поведение production-среды без реальных пользовательских записей. В этом подходе сохраняются не сами пользовательские истории, а распределения, корреляции, временные закономерности и бизнес-правила.
В статье synthetic audit log описан как система из трех компонентов. В нее входят снимок модели с версией и feature contract, конфигурация генератора синтетических данных, а также схема с логикой преобразований для восстановления representative feature matrices. Если возникает запрос аудитора, компания может заново сгенерировать синтетическую базу данных, повторно запустить feature pipeline и проверить, как модель принимала решения в аналогичной среде.
Автор отдельно подчеркивает, что такой подход нужен не для восстановления действий конкретного пользователя. Его задача, реконструировать окружение, в котором принимались решения для определенного сегмента, класса пользователей или состояния продукта.
Ключевые факты
В статье governance для ИИ-систем сводится к трем требованиям: traceability, explainability и reproducibility
Synthetic audit log хранит snapshot модели, конфигурацию генератора синтетических данных и схему с логикой преобразований
Подход не предполагает хранение каждого feature vector, который использовала модель
Автор описывает ситуацию, когда регулятор запросил объяснение решения модели спустя три месяца после удаления пользовательских данных