AWS представила архитектуру мониторинга discriminative ML-моделей на базе Amazon SageMaker AI, MLflow и библиотеки с открытым исходным кодом Evidently. Решение рассчитано на задачи классификации и регрессии. Оно помогает отслеживать data drift и model drift, то есть изменения входных данных и качества предсказаний после вывода модели в продакшен.
Как пишет AWS Machine Learning Blog, схема покрывает весь жизненный цикл модели: обучение, batch inference, расчет метрик и отправку уведомлений. Во время обучения модель получает данные из Amazon S3, а рассчитанные метрики сохраняются в MLflow. Отдельно формируется baseline-набор данных, который затем используют для сравнения с продакшен-данными и оценки изменений статистических свойств и качества модели.
В AWS поясняют, что data drift может возникать из-за изменения формата данных в upstream-источниках или появления новых продуктовых линий. Model drift связан с ухудшением качества предсказаний в ситуациях, когда вероятностные закономерности, выученные моделью, перестают соответствовать текущим данным. Для расчета drift-метрик используются результаты batch transform jobs и пресеты Evidently. Готовые отчеты можно встроить в собственные дашборды, использовать для оповещений в Slack или запускать через них автоматическое переобучение моделей.
Ключевые факты
Решение использует open source-библиотеку Evidently вместе с Amazon SageMaker AI и MLflow
Схема мониторинга рассчитана на discriminative ML-модели для задач классификации и регрессии
Baseline-датасет после обучения модели сохраняется отдельно в Amazon S3 для последующего сравнения с продакшен-данными
Результаты batch transform jobs используются для расчета data drift и model quality metrics с помощью пресетов Evidently