Проблема калибровки в медицинском ИИ: почему показатели уверенности могут вводить в заблуждение
Системы медицинского ИИ нередко сопровождают свои прогнозы показателем уверенности. Например, модель может оценить вероятность пневмонии на рентгеновском снимке грудной клетки в 99%. Для врача такая цифра звучит почти как гарантия точности. Но высокая «уверенность» не всегда означает столь же высокую реальную надежность. Бывает и так: прогнозы с заявленной уверенностью 99% подтверждаются лишь в 80% случаев. В такой ситуации проблема связана не столько с самим предсказанием, сколько с тем, как система оценивает собственную надежность.
В медицинских задачах это особенно чувствительный момент, потому что показатели уверенности начинают влиять на клинические решения наравне с самими прогнозами. Здесь важна калибровка, то есть соответствие между заявленной вероятностью и фактической частотой правильных ответов. Если модель сообщает о 90% уверенности, корректная калибровка означает, что примерно в 90% таких случаев прогноз действительно оказывается верным. Как пишет Towards AI, исследования показывают: многие современные системы глубокого обучения плохо откалиброваны и систематически переоценивают собственную надежность.
Точность модели и ее калибровка, разные характеристики. Две диагностические системы могут демонстрировать одинаковую общую точность 90%, но вести себя по-разному. У одной прогноз с уверенностью 90% подтверждается в 90% случаев. У другой предсказания с уверенностью 99% оказываются правильными лишь в 80% случаев. В клинической практике подобное расхождение может искажать интерпретацию результатов. Калибровка отвечает не за улучшение самих прогнозов, а за честную передачу неопределенности.
Есть простой пример. Если система делает тысячу прогнозов с уровнем уверенности 80%, при корректной калибровке около 800 из них должны оказаться верными. Принцип напоминает прогноз погоды. Когда синоптики объявляют вероятность дождя 70% в ряде схожих ситуаций, дождь должен идти примерно в 70% случаев. Исследование Guo и коллег 2017 года, посвященное современным deep neural networks, также показало характерную проблему: такие модели нередко демонстрируют избыточную уверенность в собственных предсказаниях.
Ключевые факты
В примере система медицинского ИИ сообщает вероятность пневмонии на рентгене грудной клетки на уровне 99%, хотя такие предсказания могут быть верны лишь в 80% случаев.
Два диагностических алгоритма могут иметь одинаковую точность 90%, но различаться по калибровке: у одной модели уверенность 90% соответствует фактической точности 90%, у другой, заявленные 99% уверенности соответствуют лишь 80% правильных ответов.
Калибровка означает соответствие между предсказанной вероятностью и реальными исходами: например, из 1000 прогнозов с уверенностью 80% корректными должны быть примерно 800.
Исследования показывают, что многие современные системы глубокого обучения плохо откалиброваны и систематически переоценивают собственную надежность.