Исследование Nature Health выявило скрытую предвзятость медицинских ИИ-моделей

Учёные проверили шесть популярных нейросетей, включая ChatGPT, Grok и Claude, на скрытые предрассудки в отношении людей с ВИЧ, гепатитом B и психическими расстройствами. Сначала моделям дали стандартные психологические опросники на стигматизацию. В этих тестах ИИ показал высокий уровень толерантности и даже превзошёл средние показатели выборки из 56 тыс. респондентов.

Затем исследователи перешли к более жизненным сценариям с вымышленными персонажами. Как сообщает Хайтек (hightech.fm), авторы подготовили более 50 историй, в которых менялся только медицинский статус героя, а остальные вводные оставались одинаковыми. Нейросети сгенерировали свыше 60 тыс. вариантов продолжений на английском и китайском языках.

Именно в таких контекстных тестах начали проявляться предвзятые реакции. Персонажей с шизофренией или ВИЧ модели чаще связывали с опасностью и советовали избегать контакта с ними. Героев с повышенным давлением или болями в спине нейросети нередко описывали как некомпетентных. Исследователи также заметили, что запросы на китайском языке вызывали больше предвзятых ответов, чем аналогичные формулировки на английском.

По данным исследования, требование к модели рассуждать шаг за шагом перед ответом заметно снижало токсичность. Авторы работы считают, что технологическим компаниям стоит проводить аудит контекстных суждений перед внедрением медицинских ассистентов в клиники.