Исследование: советы ИИ снизили точность ответов людей и повысили их уверенность

Исследователи из трёх французских и итальянских университетов выяснили: доступ к советам ИИ заметно снижал готовность участников признать, что они не знают ответа. Во время эксперимента доля ответов «не знаю» сократилась с 44% до 3%. Одновременно точность упала с 27% до 9%, а уверенность участников, наоборот, выросла с 30% до 76%.

Как сообщает The Next Web (TNW), авторы работы намеренно использовали вопросы, на которых модели часто ошибаются, например связанные с визуальными деталями фильмов. В исследовании применялась модель Step 3.5 Flash, регулярно дававшая неверные ответы. По словам Валерио Капраро из University of Milano-Bicocca, часть участников могла правильно ответить самостоятельно, но после обращения к ИИ выбирала ошибочный вариант.

Денежные стимулы повлияли на результаты лишь частично. Готовность признать незнание выросла с 3% до 8%, а точность, с 9% до 16%. Тем не менее эти показатели всё равно остались заметно ниже, чем у группы без ИИ. Авторы исследования считают, что пользователи начинают доверять ответам системы даже тогда, когда она ошибается.

В материале также упоминается термин «cognitive surrender». Ранее исследователи из Wharton использовали его для описания похожего поведения: люди принимали неправильные ответы ИИ в 80% случаев и при этом сообщали о более высокой уверенности по сравнению с теми, кто работал без ИИ.