Computerworld: компаниям советуют закреплять ответственность за AI-системы до запуска в прод

По мере того как AI-системы выходят из тестовых сценариев в реальные рабочие процессы и начинают действовать самостоятельно, компаниям всё сложнее контролировать ответственность за их решения. В отличие от традиционного корпоративного ПО, такие инструменты могут вести себя непредсказуемо из-за взаимодействия с данными, API и внутренними бизнес-процессами.

Как сообщает Computerworld, в производственной среде одних формальных политик уже недостаточно. Издание со ссылкой на экспертов пишет, что ответственность приходится встраивать прямо в операционные процессы: назначать владельцев систем, поддерживать постоянную наблюдаемость, создавать понятные механизмы эскалации и инфраструктуру, где можно отследить, кто отвечает за сбой или ошибочное действие.

Менеджер по pre-sales в области данных и AI в SHI International Дэвид Дюшен заявил, что при проблемах с AI ответственность обычно ложится на того, кто оказался ближе всего к точке сбоя. В материале также отмечается, что модель «разделённой ответственности» нередко перестаёт работать после вывода AI в продакшен, особенно если система переходит от роли советника к роли исполнителя внутри бизнес-процессов.