Исследование: небольшая группа редакторов Wikipedia может влиять на ответы языковых моделей о защите животных
Небольшая группа добровольцев может заметно влиять на то, как большие языковые модели рассуждают о защите животных. К такому выводу пришли авторы исследования, которые изучили правки участников сообщества Pro-Animal Wikipedians (PAW). Эта группа добавляет в статьи Wikipedia информацию об обращении с животными. Как сообщает arXiv cs.AI (Artificial Intelligence), участники внесли 125 правок на 115 страницах, дополнив их подтверждёнными источниками материалами по теме animal welfare.
Исследователи напоминают, что Wikipedia входит почти во все крупные датасеты, используемые для обучения языковых моделей. При этом её материалы часто имеют больший вес, чем тексты из веб‑краулеров. Чтобы понять, как именно отдельные правки влияют на модели, авторы использовали методы gradient-based data attribution, Bergson и MAGIC.
Анализ с применением TrackStar retrieval attribution на модели Llama 3.1 8B показал заметную разницу. Разделы, которые редактировали участники PAW, составили 68% документов с наибольшей атрибуцией для запросов об animal welfare (p < 0.0001). Для несвязанных запросов о тех же компаниях доля оказалась ниже, 52% (p = 0.53). Это говорит о том, что модель связывает контент PAW именно с темой благополучия животных, а не с компаниями в целом.
Дополнительная проверка с использованием MAGIC counterfactual influence estimation на модели Llama-3.2-1B усилила этот вывод. Эксперимент провели на пяти случайных training-order seeds. Во всех случаях топ-10 наиболее влиятельных документов для запросов об animal welfare полностью состоял из правок PAW (10 из 10, 5 из 5 seeds).
Ключевые факты
Группа Pro-Animal Wikipedians (PAW) внесла 125 правок в 115 страниц Википедии, добавляя источниковедческий контент о благополучии животных.
В работе утверждается, что Википедия присутствует почти во всех крупных датасетах для обучения языковых моделей и имеет больший вес, чем текст из веб‑краулов.
Анализ TrackStar на модели Llama 3.1 8B показал, что разделы, отредактированные PAW, составили 68% документов с наибольшей атрибуцией для запросов о благополучии животных (p < 0.0001) и 52% для нерелевантных запросов о тех же компаниях (p = 0.53).
Метод MAGIC на модели Llama-3.2-1B при пяти случайных порядках обучения показал, что для запросов о благополучии животных все 10 из 10 самых влиятельных документов в каждом из 5 запусков были правками PAW.