Компании, которые выводят ИИ-системы в продакшен, быстро сталкиваются с ограничениями привычных подходов к мониторингу ПО. Для моделей машинного обучения они подходят не лучшим образом. В отличие от традиционного софта, ИИ-системы не всегда выдают понятные ошибки и не работают по заранее предсказуемым сценариям. Их поведение может постепенно ухудшаться, меняться со временем или просто давать нестабильные результаты.
Как сообщает InfoWorld, рынок AI observability сейчас в основном сосредоточен на оценке качества ответов уже после выполнения задачи. Для этого используют тестовые наборы данных, ручную проверку людьми и подходы формата «LLM-as-a-judge», когда одна модель оценивает работу другой.
Такие пайплайны помогают командам сравнивать модели и следить за базовым уровнем качества. При этом автор материала обращает внимание на ограничения этого подхода. Главная проблема в том, что существующие инструменты реагируют в основном на уже случившиеся ошибки и слабо подходят для поиска более сложных и трудно воспроизводимых сбоев, которые характерны для ИИ-систем.
Ключевые факты
Текущие AI observability-инструменты в основном сосредоточены на оценке качества ответов моделей после выполнения задач
Для проверки работы моделей используются тестовые датасеты, ручная оценка и подход «LLM-as-a-judge»
ИИ-системы могут деградировать, галлюцинировать и менять поведение без явных ошибок или предсказуемых сценариев
Автор материала отмечает разрыв между ожиданиями команд от observability и возможностями существующих инструментов