Почему медицинскому ИИ важно уметь сомневаться в своих прогнозах

В системах медицинского ИИ любое предсказание обычно сопровождается числом, которое воспринимают как уровень уверенности модели. Например, при анализе рентгеновского снимка грудной клетки алгоритм может выдать диагноз «пневмония» с уверенностью 93%. Для врача такая цифра выглядит как вполне однозначный сигнал к действию. Проблема в том, что эта вероятность не всегда отражает реальную надежность вывода.

Как отмечает Towards AI, две модели могут прийти к одному и тому же диагнозу и показать одинаковую вероятность, но находиться при этом в разных состояниях уверенности. Один снимок может быть четким и похожим на изображения из обучающей выборки, другой, наоборот, шумным или частично перекрытым. Снаружи ситуация выглядит одинаково, например вероятность пневмонии 90%. Однако внутри модели устойчивость предсказания в этих случаях может сильно отличаться.

Поэтому в медицинских системах ИИ дополнительно оценивают неопределенность. Проще всего представить ее как чувствительность модели к небольшим изменениям данных. Если немного изменить яркость снимка или добавить слабый шум, а результат почти не меняется, предсказание считают устойчивым. Когда же вывод резко скачет, модель фактически сигнализирует о сомнении.

Исследователи также различают два типа неопределенности. Aleatoric uncertainty связана с качеством самих данных, например с размытыми изображениями или артефактами движения пациента. Такой источник неопределенности не исчезает даже при улучшении модели. Epistemic uncertainty возникает по другой причине, из-за пробелов в обучении. Это происходит, когда модель сталкивается с редкими заболеваниями, новыми устройствами визуализации или нетипичными группами пациентов. Такой тип неопределенности можно уменьшить, если расширять и разнообразить обучающие данные.