Heise: эффективность ИИ-аудита кода зависит скорее от процесса проверки, чем от модели

Рост использования ИИ для поиска уязвимостей усилил нагрузку на open-source-проекты и security-команды, хотя сами инструменты действительно стали быстрее находить потенциальные проблемы. Как сообщает Heise online, главная сложность теперь связана не с поиском, а с проверкой результатов: команды не успевают проводить triage, подтверждать и исправлять поток автоматически сгенерированных отчётов. В материале упоминаются curl, HackerOne, Node.js и Linux Kernel Security List, где разработчики и администраторы жаловались на резкий рост количества малополезных сообщений.

Автор материала Stephan Zeisberg пишет, что узким местом стала не генерация находок, а возможность их воспроизвести и проверить. В пример приводится Mozilla: в релизе Firefox 150 компания закрыла 271 security-баг, в том числе ошибку в XSLT-движке, которая существовала около 20 лет. Этот результат связывают не с конкретной моделью, а с самим процессом работы: каждый отчёт, созданный ИИ, должен сопровождаться воспроизводимым тест-кейсом. Если воспроизвести проблему не удаётся, такие находки отсеиваются ещё до ручной проверки.

В статье также отмечается, что модели, которые работают напрямую с кодовой базой без этапа воспроизведения, в 2024 и 2025 годах часто давали около 80% ложноположительных результатов. Поэтому автор советует внедрять ИИ-аудит постепенно. Сначала использовать модели для картирования кодовой базы и поиска точек входа, затем применять их как инструмент навигации и исследования во время аудита, а после ручной проверки подключать для дополнительного анализа.