Исследование: LLM с привязкой к источникам повысили точность врачей, но снизили критичность к ошибочным ответам
Исследователи представили CORA, retrieval-augmented LLM для клинической поддержки, которая показывает ответы вместе с источниками. Как сообщает arXiv cs.AI (Artificial Intelligence), модель сохранила benchmark-показатели и при этом заметно улучшила результаты на клинических случаях, опубликованных после cutoff-даты обучающих данных моделей.
В исследовании с участием 46 врачей точность ответов выросла с 70,8% без помощи системы до 82,6% при использовании CORA. Авторы отдельно отмечают связь между наличием подтверждающих цитат и долей правильных ответов: 87,7% против 65,5%.
Одновременно исследование показало эффект ложного доверия к модели. Когда корректные рекомендации сопровождались подтверждающими ссылками, доля их принятия врачами увеличивалась с 34% до 76,9%. Но если неверный ответ LLM выглядел подтвержденным источниками, сопротивление врачей таким рекомендациям снижалось с 92% до 34,8%. По мнению авторов, это указывает на риск: привязка к источникам может не только повышать точность, но и усиливать зависимость от ошибочных выводов модели.
Ключевые факты
В исследовании участвовали 46 врачей.
Точность ответов выросла с 70,8% без системы до 82,6% при использовании CORA.
При наличии подтверждающих цитат доля правильных ответов составила 87,7% против 65,5%.
Сопротивление ошибочным рекомендациям LLM снизилось с 92% до 34,8%, если ответ выглядел подтвержденным источниками.
Вопросы и ответы
- Насколько система реально повышает качество решений врачей в практике, а не только на бенчмарках?
В тесте с 46 врачами точность ответов выросла с 70,8% без помощи системы до 82,6% при использовании CORA. Авторы отдельно отмечают, что прирост был заметнее на клинических случаях, появившихся уже после cutoff-даты обучающих данных моделей.
- Что дают ссылки на источники в ответах LLM и где появляется риск?
Когда ответы сопровождались подтверждающими цитатами, доля правильных ответов составляла 87,7% против 65,5% без таких подтверждений. Но тот же механизм снижал критичность к ошибкам: сопротивление неверным рекомендациям падало с 92% до 34,8%, если ответ выглядел подтвержденным источниками.
- Как меняется поведение врачей при наличии ссылок на источники?
Если корректные рекомендации сопровождались ссылками, доля их принятия врачами выросла с 34% до 76,9%. Исследование показывает, что citations влияют не только на точность, но и на готовность доверять ответу модели.
Контекст по теме
- Исследование MIT: объяснения медицинских ИИ-систем по-разному влияют на врачей и неспециалистов4 августа 2026 г.
- Небольшие локальные LLM чаще отказываются отвечать на юридические запросы при «официальных» префиксах24 июня 2026 г.
- Гибридный подход с LLM и логической проверкой улучшает сопоставление пациентов с клиническими испытаниями23 июня 2026 г.
- Исследование описывает риски «trajectory collapse» при использовании LLM‑агентов в юридическом e‑discovery19 июня 2026 г.