ReviewGuard предлагает ориентировать LLM-рецензирование на будущий научный эффект работ
Исследователи представили систему ReviewGuard, двухэтапный фреймворк для настройки рецензий, созданных с помощью LLM, с прицелом на оценку долгосрочного научного влияния статей. Традиционное рецензирование по‑прежнему остаётся главным механизмом контроля качества в науке. При этом часть работ, получивших низкие оценки на этапе отбора, позже набирает значительное число цитирований. Как сообщает arXiv cs.AI (Artificial Intelligence), существующие подходы с использованием больших языковых моделей в основном копируют предпочтения человеческих рецензентов и почти не пытаются предсказать будущую научную значимость.
ReviewGuard обучается по другой логике. Система ориентируется не на текущие решения рецензентов, а на предполагаемое долгосрочное влияние, которое оценивается по данным о цитировании. Для проверки метода авторы собрали 20,861 AI/ML статей из OpenReview и дополнили их информацией о цитированиях из Semantic Scholar. На подмножестве работ, которые сначала были отклонены, а затем всё же опубликованы, система показала корреляцию Спирмена с будущими цитированиями на уровне ρ = 0.776.
Этот показатель оказался выше, чем у человеческих рецензентов (ρ = 0.492), а также у обученной модели Expert (ρ = 0.681). Если использовать одинаковый порог принятия решений, ReviewGuard отмечает 10.2% отклонённых статей, которые позже становятся высоко цитируемыми. У человеческих рецензентов этот показатель равен 1.8%, что соответствует улучшению в 5.6 раза. Авторы считают, что обучение с ориентацией на научный эффект может дать редакторам дополнительный сигнал при поиске действительно перспективных исследований.
Ключевые факты
Исследование представило двухэтапную систему ReviewGuard, которая выравнивает LLM‑генерируемые рецензии с оценками долгосрочного научного влияния на основе цитирований, а не с текущими решениями рецензентов.
Модель протестирована на 20 861 AI/ML‑статье из OpenReview с добавленными данными о цитировании из Semantic Scholar.
На выборке статей, сначала отклонённых, а затем опубликованных, ReviewGuard показал корреляцию Спирмена с будущими цитированиями 0.776 против 0.492 у человеческих рецензентов и 0.681 у supervised Expert model.
При одинаковом пороге решений система отмечает 10.2% отклонённых, но впоследствии высоко цитируемых работ, тогда как человеческие рецензенты, 1.8%, что соответствует улучшению в 5.6 раза.