Исследователи представили InterFLOPBench, набор из 90 C-кернелов и 1 130 тестовых примеров для оценки того, насколько большие языковые модели способны статически обнаруживать и классифицировать ошибки вычислений с плавающей точкой в программном коде. Как сообщает arXiv cs.AI (Artificial Intelligence), бенчмарк охватывает шесть категорий ошибок: cancellation, comparison, division by zero, overflow, underflow и NaN.
Авторы сравнили 14 LLM, рассматривая задачу как проблему многометочной классификации и используя метрику F1-score. По данным работы, модели Qwen 3 32b, Gemini 2.5 Flash, Phi 4 Reasoning, DeepSeek R1T2, а также gpt-oss 20b и 120b показали общий F1-score выше 0,88.
При этом результаты заметно зависели от типа ошибок. Для более очевидных операций, например division by zero, средний F1-score достиг 0,8479. Для underflow и cancellation показатели оказались ниже: 0,6059 и 0,6164 соответственно.
Ключевые факты
InterFLOPBench включает 90 C-кернелов и 1 130 тестовых примеров
Бенчмарк оценивает шесть типов ошибок: cancellation, comparison, division by zero, overflow, underflow и NaN
Qwen 3 32b, Gemini 2.5 Flash, Phi 4 Reasoning, DeepSeek R1T2, gpt-oss 20b и 120b показали общий F1-score выше 0,88
Средний F1-score для division by zero составил 0,8479, для underflow, 0,6059, для cancellation, 0,6164