Новый бенчмарк показал, что системы медицинского искусственного интеллекта могут демонстрировать высокие результаты на экзаменационных заданиях, но сталкиваются с трудностями при работе с реальными клиническими случаями. Тестирование выявило заметный разрыв между способностью моделей отвечать на стандартизированные вопросы и их эффективностью в ситуациях, приближенных к практике врачей.
Исследование обращает внимание на то, что экзаменационные форматы не всегда отражают сложность реального медицинского ухода. Несмотря на хорошие показатели в тестах, ИИ‑системы могут хуже справляться с задачами, требующими учета контекста и особенностей конкретного пациента.
Авторы бенчмарка подчеркивают, что результаты поднимают вопрос о том, насколько экзамены подходят для оценки готовности медицинских ИИ‑инструментов к применению в клинической практике. По их мнению, для проверки таких систем необходимы более реалистичные методы оценки, ориентированные на реальные сценарии ухода за пациентами.
Ключевые факты
Новый бенчмарк показал, что медицинские ИИ демонстрируют высокие результаты на экзаменационных тестах.
Тот же бенчмарк выявил проблемы у медицинских ИИ при работе со сценариями реального ухода за пациентами.
Результаты бенчмарка описаны в материале Medical Economics под заголовком «Medical AI scores high on exams but stumbles on real patient care».