NeurIPS столкнулась с критикой из-за скрытых промптов для выявления AI в рецензировании

Организаторы конференции NeurIPS начали добавлять в статьи для рецензирования скрытые инструкции для больших языковых моделей, чтобы выявлять reviewers, которые используют генеративный ИИ вопреки правилам конференции. Как сообщает The Transmitter, невидимые промпты предлагают LLM вставлять в рецензии характерные фразы вроде «This work addresses the central challenge» и «The claims of the paper». Политика NeurIPS запрещает загружать рукописи в AI-чатботы из-за требований конфиденциальности, хотя применять ИИ для фонового поиска информации разрешается.

Решение уже вызвало споры среди исследователей. Профессор Leibniz University Hannover Зёрен Ауэр написал в LinkedIn, что такие «ловушки» подрывают доверие между организаторами и рецензентами. По его словам, сначала он отклонил одну из статей, потому что решил, что скрытые инструкции добавили сами авторы. Позже Ауэр заметил похожие промпты в других работах и обсуждения на Reddit, после чего снял замечание.

При этом часть исследователей поддержала такой подход. Нихар Шах из Carnegie Mellon University рассказал, что похожая система на ICML 2026 в Сеуле помогла выявить сотни рецензентов, которые использовали LLM в обход правил конференции. После этого их отзывы были отклонены. В заявлении оргкомитета NeurIPS сказано, что детали механизма не раскрываются, чтобы не снижать эффективность метода.