AWS показала схему мониторинга ML-моделей в SageMaker AI с использованием MLflow и Evidently

AWS представила архитектуру мониторинга discriminative ML-моделей на базе Amazon SageMaker AI, MLflow и библиотеки с открытым исходным кодом Evidently. Решение рассчитано на задачи классификации и регрессии. Оно помогает отслеживать data drift и model drift, то есть изменения входных данных и качества предсказаний после вывода модели в продакшен.

Как пишет AWS Machine Learning Blog, схема покрывает весь жизненный цикл модели: обучение, batch inference, расчет метрик и отправку уведомлений. Во время обучения модель получает данные из Amazon S3, а рассчитанные метрики сохраняются в MLflow. Отдельно формируется baseline-набор данных, который затем используют для сравнения с продакшен-данными и оценки изменений статистических свойств и качества модели.

В AWS поясняют, что data drift может возникать из-за изменения формата данных в upstream-источниках или появления новых продуктовых линий. Model drift связан с ухудшением качества предсказаний в ситуациях, когда вероятностные закономерности, выученные моделью, перестают соответствовать текущим данным. Для расчета drift-метрик используются результаты batch transform jobs и пресеты Evidently. Готовые отчеты можно встроить в собственные дашборды, использовать для оповещений в Slack или запускать через них автоматическое переобучение моделей.