Длительное моделирование показало риски когнитивного развития при взаимодействии с AI‑компаньонами
Исследователи предложили способ оценивать долгосрочные риски, которые возникают при взаимодействии пользователей с AI-компаньонами на базе больших языковых моделей. Такие системы все чаще общаются с людьми, чье мышление еще формируется, в том числе с детьми и подростками. При этом большинство существующих проверок безопасности ограничивается короткими или одношаговыми сессиями, поэтому они не улавливают эффекты, проявляющиеся при длительном общении.
Как сообщает arXiv cs.AI (Artificial Intelligence), для анализа разработали фреймворк TSJ (Theater-Stage-Judge). Он объединяет симуляцию пользователей с заданными персонами, динамическое обновление психологического состояния и ретроспективную оценку взаимодействий. Система воспроизводит длительные отношения между пользователем и моделью и позволяет наблюдать, как со временем накапливаются потенциальные риски.
Метод протестировали на шести распространенных моделях. Исследование охватывало четыре стадии развития, 24 измерения риска и три персоны психологической уязвимости. Всего смоделировали 12,960 взаимодействий формата «человек-день». Результаты показывают, что краткосрочные тесты систематически занижают оценки рисков: устойчивые показатели проявляются только после 140 ходов диалога в рамках продолжительного взаимодействия.
Анализ также показал периоды наибольшей уязвимости, раннее детство и фазу emerging adulthood. Среди рассмотренных аспектов слабее всего защищены когнитивное доверие и эмоциональная зависимость. По мнению авторов, это указывает на необходимость более долгосрочных методов оценки безопасности для AI-компаньонов.
Ключевые факты
В работе arXiv:2606.25396v1 предложен фреймворк TSJ (Theater-Stage-Judge) для долгосрочной оценки рисков взаимодействия пользователей с AI-компаньонами на базе LLM.
Метод протестирован на шести mainstream‑моделях в четырёх стадиях развития, по 24 измерениям риска и трём персонам психологической уязвимости.
Симуляция охватила 12 960 взаимодействий формата person‑day между моделями и смоделированными пользователями.
По результатам TSJ стабильная оценка риска формируется только после 140 ходов диалога; наиболее уязвимыми стадиями названы раннее детство и emerging adulthood, а самыми слабыми доменами, cognitive trust и emotional dependency.