Исследование оценивает потенциал «vibe coding» для разработки программ с нуля
Авторы работы «Vibe Coding Ate My Homework: An evaluation of AI approaches to greenfield software engineering and programming» разбирают набирающую популярность практику создания программ с помощью генеративного ИИ по текстовым запросам. Подход называют «vibe coding». Пользователь описывает задачу обычными словами, а система генерирует приложение и связанную программную инфраструктуру, при этом знание программирования может вовсе не требоваться.
Исследователи связывают рост интереса к таким инструментам с быстрым развитием генеративного ИИ. По их мнению, это может указывать на более широкий сдвиг в том, как люди взаимодействуют с компьютерами. Vibe coding рассматривается как продолжение движения к все более высоким уровням абстракции в программировании, вплоть до сценария, в котором синтаксис кода полностью уступает место естественному языку.
В статье оценивается, насколько такой подход подходит для задач greenfield software engineering, то есть разработки программ с нуля. Отдельно рассматриваются бенчмарки, которые применяют для оценки возможностей ИИ в программной инженерии. Для исследования авторы подготовили собственный набор тестов. Он позволяет проверить, как LLM справляются с простыми изолированными задачами greenfield‑программирования на Python.
Ключевые факты
На arXiv опубликована работа «Vibe Coding Ate My Homework: An evaluation of AI approaches to greenfield software engineering and programming» (arXiv:2606.18293v1).
В статье рассматривается практика «vibe coding», создание приложений и инфраструктуры разработки с помощью естественных языковых запросов без знания области программирования.
Авторы оценивают применимость «vibe coding» для задач greenfield software engineering и анализируют бенчмарки, используемые для измерения возможностей ИИ в разработке ПО.
Для исследования создан набор оценки, проверяющий способность LLM выполнять простые изолированные greenfield‑задачи программирования на Python.