Gemini-агент обошёл человеческий код в четырёх из пяти метрик качества
Автор исследования сравнил код автономного AI-агента на базе Gemini с реализациями, написанными людьми, на пяти Python-зачах. Агент не просто генерировал код: он запускал его, анализировал вывод терминала и при необходимости дорабатывал результат по циклу обратной связи. Для оценки использовали Pylint, Maintainability Index от Radon, цикломатическую сложность и плотность ошибок.
Как пишет Towards AI, исследование оформили как формальный эксперимент с заранее заданными вопросами и порогами качества. Автор сразу определил минимальные требования: Maintainability Index выше 20, оценка Pylint выше 8, плотность ошибок ниже 0,1 дефекта на строку. В тестирование включили пять однофайловых Python-программ: CLI echo utility, менеджер задач с JSON-хранилищем, инструмент фильтрации CSV, HTTP-сервер с логированием и интерактивный AI-чат-клиент.
Архитура агента включала пять компонентов: Code Designer, Code Generator, Script Evaluator, Web Search Tool и Library Installer. За генерацию кода отвечал Gemini Flash. По словам автора, модель выбрали из-за бесплатной квоты, чтобы проверить, сможет ли сам цикл обратной связи компенсировать ограничения LLM.
По итогам теста агент превзошёл человеческие реализации в четырёх из пяти метрик. В материале приводятся значения Pylint: 7,74 у агента против 7,27 у человеческого кода. Разрыв по Maintainability Index составил +12,2 в пользу AI-системы.
Ключевые факты
Для эксперимента использовали пять Python-задач с одинаковым пайплайном анализа для AI и человеческого кода.
Минимальные пороги качества включали Maintainability Index выше 20 и плотность ошибок ниже 0,1 дефекта на строку.
В архитектуру агента вошли Web Search Tool и Library Installer для поиска документации и автоматической установки зависимостей.
Gemini Flash использовался как генератор кода благодаря более широкой бесплатной квоте по сравнению с альтернативами.