В научных рукописях иногда прячут скрытые подсказки, рассчитанные на системы искусственного интеллекта, которые участвуют в рецензировании. Такие фрагменты текста способны менять поведение ИИ‑инструментов, применяемых при оценке научных работ, из‑за чего автоматизированная проверка может давать искаженный результат.
Смысл приема простой. В текст статьи встраиваются инструкции, которые человек не замечает, но алгоритмы анализа могут их считать. Если редакторы или рецензенты используют ИИ‑ассистентов для чтения и краткого пересказа рукописей, модель может интерпретировать эти команды и изменить собственные выводы.
Как сообщает Hacker News со ссылкой на публикацию в Communications of the ACM, такую практику рассматривают как потенциальную уязвимость в процессах AI-assisted peer review. Ситуация поднимает более широкий вопрос: насколько надежно применение ИИ‑инструментов в академическом рецензировании и какие меры могут понадобиться, чтобы исключить манипуляции через скрытые инструкции в тексте.
Ключевые факты
Материал озаглавлен «Hidden Prompts in Manuscripts Exploit AI-Assisted Peer Review».
На Hacker News обсуждение этого материала (item id 48679846) имеет 1 point и 0 комментариев.