Инженеры проанализировали 112 000 коммитов, чтобы понять, отличается ли качество кода, написанного с помощью ИИ, от кода, который разработчики пишут вручную. Главный вопрос был простой: возникают ли в таком коде ошибки чаще.
Исследователи сопоставили коммиты в репозиториях и попытались определить, какие изменения могли быть сделаны с использованием ИИ, а какие человеком. Затем эти данные использовали для сравнения частоты ошибок и оценки надежности кода в обоих случаях.
Авторы отмечают, что разговор о качестве кода, созданного ИИ, становится все актуальнее по мере распространения инструментов генерации программного кода. Анализ большого массива коммитов помогает посмотреть на проблему через реальные изменения в проектах и связанные с ними ошибки.
Ключевые факты
В исследовании было проанализировано 112,000 коммитов.