Учёные проверили шесть популярных нейросетей, включая ChatGPT, Grok и Claude, на скрытые предрассудки в отношении людей с ВИЧ, гепатитом B и психическими расстройствами. Сначала моделям дали стандартные психологические опросники на стигматизацию. В этих тестах ИИ показал высокий уровень толерантности и даже превзошёл средние показатели выборки из 56 тыс. респондентов.
Затем исследователи перешли к более жизненным сценариям с вымышленными персонажами. Как сообщает Хайтек (hightech.fm), авторы подготовили более 50 историй, в которых менялся только медицинский статус героя, а остальные вводные оставались одинаковыми. Нейросети сгенерировали свыше 60 тыс. вариантов продолжений на английском и китайском языках.
Именно в таких контекстных тестах начали проявляться предвзятые реакции. Персонажей с шизофренией или ВИЧ модели чаще связывали с опасностью и советовали избегать контакта с ними. Героев с повышенным давлением или болями в спине нейросети нередко описывали как некомпетентных. Исследователи также заметили, что запросы на китайском языке вызывали больше предвзятых ответов, чем аналогичные формулировки на английском.
По данным исследования, требование к модели рассуждать шаг за шагом перед ответом заметно снижало токсичность. Авторы работы считают, что технологическим компаниям стоит проводить аудит контекстных суждений перед внедрением медицинских ассистентов в клиники.
Ключевые факты
Учёные протестировали шесть нейросетей, включая ChatGPT, Grok и Claude
В исследовании использовали более 50 сюжетов с одинаковыми вводными и разным медицинским статусом персонажей
Модели сгенерировали свыше 60 тыс. вариантов концовок на английском и китайском языках
Требование рассуждать шаг за шагом перед ответом снижало токсичность моделей