Анализ 112 000 коммитов: исследование о качестве кода, написанного ИИ

Инженеры проанализировали 112 000 коммитов, чтобы понять, отличается ли качество кода, написанного с помощью ИИ, от кода, который разработчики пишут вручную. Главный вопрос был простой: возникают ли в таком коде ошибки чаще.

Исследователи сопоставили коммиты в репозиториях и попытались определить, какие изменения могли быть сделаны с использованием ИИ, а какие человеком. Затем эти данные использовали для сравнения частоты ошибок и оценки надежности кода в обоих случаях.

Авторы отмечают, что разговор о качестве кода, созданного ИИ, становится все актуальнее по мере распространения инструментов генерации программного кода. Анализ большого массива коммитов помогает посмотреть на проблему через реальные изменения в проектах и связанные с ними ошибки.