Компании столкнулись с проблемой объяснимости автономных ИИ-систем
За последний год корпоративные ИИ-системы заметно ушли от роли помощников, которые только дают рекомендации. Теперь они могут самостоятельно одобрять транзакции, перенаправлять поставки, обновлять записи, взаимодействовать с клиентами и запускать действия в другом ПО почти без участия человека.
На этом фоне у CIO меняется сам подход к управлению ИИ. Как пишет InfoWorld, компаниям уже недостаточно просто оценивать точность модели. Критичным становится другой вопрос: можно ли объяснить, проверить и защитить решения, которые принимает система.
Ошибки в автономных сценариях выходят далеко за рамки технических сбоев. Если ИИ оформляет возврат средств, меняет цену товара, редактирует данные клиента или инициирует финансовую операцию, последствия затрагивают операционные процессы, юридические риски и репутацию компании. И объяснение в духе «так решила модель» больше не воспринимается как достаточное.
На этом фоне в корпоративном ИИ растет разрыв между уровнем полномочий, который компании передают системам, и возможностью контролировать и аудировать принятые решения. По данным материала, именно этот разрыв становится одной из ключевых проблем при масштабном внедрении автономного ИИ.
Ключевые факты
Современные корпоративные ИИ-системы могут самостоятельно одобрять транзакции и инициировать действия в другом ПО
В материале отдельно упомянуты риски при автоматическом возврате средств, изменении цен и обновлении клиентских записей
Ключевой вопрос для CIO смещается от точности модели к возможности объяснить и защитить решения ИИ
По описанию InfoWorld, компании все чаще передают ИИ полномочия без достаточной прозрачности механизма принятия решений