Исследование MIT: объяснения медицинских ИИ-систем по-разному влияют на врачей и неспециалистов
Исследователи MIT и других организаций изучили, как пользователи с разным уровнем подготовки воспринимают помощь ИИ при диагностике кожных заболеваний. Работа показала: и неспециалисты, и врачи первичного звена в среднем точнее ставили диагнозы с поддержкой ИИ. При этом влияние объяснений модели заметно зависело от опыта пользователя.
Как сообщает MIT News, в эксперименте тестировали разные методы explainable AI, в том числе тепловые карты изображений и текстовые объяснения на базе LLM. Неспециалисты чаще полагались на выводы ИИ вне зависимости от того, были они правильными или ошибочными. Кроме того, более расплывчатые и общие объяснения участники нередко воспринимали как более убедительные.
У врачей результаты оказались другими. Клиницисты лучше справлялись с задачей, когда получали только прогноз модели, без дополнительных пояснений, и реже следовали ошибочным рекомендациям системы. Авторы исследования пишут, что одни и те же механизмы объяснения могут помогать экспертам, но при этом вводить в заблуждение пользователей без профильной подготовки.
Описание исследования опубликовано в Nature Medicine. Среди авторов указаны Marzyeh Ghassemi из MIT, Roxana Daneshjou из Stanford University и Orson Xu из Columbia University.
Ключевые факты
Исследование посвящено диагностике кожных заболеваний с использованием explainable AI
Неспециалисты чаще доверяли объяснениям на базе LLM даже при ошибочных ответах системы
Клиницисты показали лучшие результаты, когда видели только прогноз модели без дополнительных объяснений
Описание работы опубликовано в журнале Nature Medicine
Вопросы и ответы
- Для каких пользователей explainable AI может ухудшать качество решений, а не помогать?
В эксперименте неспециалисты чаще доверяли текстовым объяснениям на базе LLM даже при ошибочных выводах системы. Особенно убедительными для них оказывались расплывчатые и общие объяснения.
- Какой формат работы ИИ оказался наиболее полезным для врачей?
Врачи первичного звена показывали лучшие результаты, когда видели только прогноз модели без дополнительных объяснений вроде тепловых карт или текстов от LLM. Они также реже следовали ошибочным рекомендациям системы.
- Где именно тестировали влияние explainable AI и кто участвовал в исследовании?
Исследование касалось диагностики кожных заболеваний с ИИ-поддержкой. В работе участвовали неспециалисты и клиницисты, а результаты опубликованы в журнале Nature Medicine; среди авторов исследователи из MIT, Stanford University и Columbia University.
Контекст по теме
- Исследование: ошибочные ответы AI снижают точность, но повышают уверенность пользователей28 июля 2026 г.
- Исследование: советы ИИ снизили точность ответов людей и повысили их уверенность19 июля 2026 г.
- Бенчмарк показал разрыв между успехами медицинского ИИ на экзаменах и работой с реальными пациентами19 июня 2026 г.
- Исследование Oxford Internet Institute предупреждает о рисках медицинских советов от ИИ‑чатботов9 июня 2026 г.