Эксперимент с 223 врачами показал устойчивое доверие к рекомендациям ИИ вопреки результатам лечения

Исследование с участием 223 врачей показало: специалисты продолжали доверять рекомендациям ИИ даже в случаях, когда реальные результаты лечения противоречили выводам алгоритма. Участники проходили серию анонимных онлайн-экспериментов, где принимали решения о назначении экспериментальной терапии пациентам с редким заболеванием.

Перед выбором врачи получали рекомендации ИИ-системы, которая распределяла пациентов по группам в зависимости от предполагаемой эффективности лечения. После этого участникам показывали реальные результаты терапии и просили оценить надежность алгоритма. Как сообщает SecurityLab (by Positive Technologies), в одном из экспериментов лечение оказалось полностью бесполезным, но большинство врачей все равно не пришло к выводу, что терапия не работает.

Авторы исследования связывают этот эффект с «автоматизационным смещением», склонностью чрезмерно доверять автоматическим системам. Даже когда появлялись данные, расходившиеся с прогнозами ИИ, многие участники продолжали опираться на первоначальные рекомендации. Исследователи также отмечают, что само присутствие врача в процессе принятия решений не гарантирует обнаружения ошибок алгоритма.

Эксперименты проходили в моделируемых условиях: случаи пациентов, заболевание и результаты лечения были частью сценария. По мнению авторов, для внедрения подобных систем недостаточно просто предупреждать о риске ошибок. Среди возможных мер они называют независимую оценку случая до просмотра подсказки ИИ, обязательное объяснение причин согласия с рекомендацией, а также регулярный разбор ситуаций, в которых прогнозы алгоритма не подтвердились.