Исследователи из трёх французских и итальянских университетов выяснили: доступ к советам ИИ заметно снижал готовность участников признать, что они не знают ответа. Во время эксперимента доля ответов «не знаю» сократилась с 44% до 3%. Одновременно точность упала с 27% до 9%, а уверенность участников, наоборот, выросла с 30% до 76%.
Как сообщает The Next Web (TNW), авторы работы намеренно использовали вопросы, на которых модели часто ошибаются, например связанные с визуальными деталями фильмов. В исследовании применялась модель Step 3.5 Flash, регулярно дававшая неверные ответы. По словам Валерио Капраро из University of Milano-Bicocca, часть участников могла правильно ответить самостоятельно, но после обращения к ИИ выбирала ошибочный вариант.
Денежные стимулы повлияли на результаты лишь частично. Готовность признать незнание выросла с 3% до 8%, а точность, с 9% до 16%. Тем не менее эти показатели всё равно остались заметно ниже, чем у группы без ИИ. Авторы исследования считают, что пользователи начинают доверять ответам системы даже тогда, когда она ошибается.
В материале также упоминается термин «cognitive surrender». Ранее исследователи из Wharton использовали его для описания похожего поведения: люди принимали неправильные ответы ИИ в 80% случаев и при этом сообщали о более высокой уверенности по сравнению с теми, кто работал без ИИ.
Ключевые факты
Исследование провели Валерио Капраро, Кьяра Маркочча и Вальтер Кваттрочокки
В эксперименте использовалась модель Step 3.5 Flash, которая часто ошибалась на выбранных вопросах
После введения денежных стимулов точность ответов выросла с 9% до 16%
Ранее исследователи из Wharton описали похожий эффект термином «cognitive surrender»