Исследователи обнаружили, что системы поиска и ответов на базе ИИ могут реагировать на пользовательские комментарии сильнее, чем ожидалось. По их данным, алгоритмы нередко принимают текст обычных пользователей за более значимый сигнал, чем сведения из проверенных и надёжных источников.
В качестве примера приводится короткая фраза, которая распространялась на Reddit. Этого оказалось достаточно, чтобы сбить ChatGPT и подтолкнуть модель к ответу, основанному именно на содержании комментария. Работа показывает: так называемый «умный» поиск иногда оказывается чувствителен к внешним подсказкам из пользовательского контента.
Авторы исследования подчёркивают риск манипуляций. Сообщения на форумах или в комментариях способны влиять на ответы ИИ‑систем, даже если они противоречат более авторитетным источникам.