Cloudflare сообщила, что средняя стоимость проверки кода внутренним ИИ-ревьюером снизилась с $2,43 в течение двух самых дорогих недель до $0,77.
Ревьюер построен на OpenCode — открытом программном агенте. Система может запускать до семи специализированных агентов для проверки безопасности, производительности, качества кода и документации. Координатор объединяет их замечания и удаляет повторы.
Почему расходы выросли
В апреле средняя проверка обходилась Cloudflare в $1,19, а к концу августа — примерно в $2,46. Архитектура существенно не менялась, однако в начале августа компания перевела всех проверяющих на модели Anthropic, которые лучше справлялись с этой задачей во внутренних испытаниях. Средняя стоимость задания после перехода выросла с $1,38 до $2,03.
Читайте также
Число обрабатываемых токенов за одну проверку увеличилось более чем втрое, с 0,91 млн до 2,99 млн. Перед оптимизацией 23% расходов приходилось на ответы моделей, 43% — на запись контекста в кэш и 34% — на его чтение. Агент проверки качества кода в среднем обращался к модели 16,6 раза за ревью, каждый раз передавая накопленную беседу.
Что изменила Cloudflare
Около 40% экономии Cloudflare связывает с изменениями в коде ревьюера: компания разделила постоянную и меняющуюся части запросов, организовала совместное использование кэшированного контекста и сократила лишние обращения к моделям. Остальную экономию обеспечил выбор моделей и уровня вычислительных усилий для разных задач.
В OpenCode v1 общие инструкции объёмом от 11 до 21 тысячи токенов сохранялись в кэше вместе с переменными данными, поэтому первый запрос находил готовый общий фрагмент лишь в 14–26% случаев. После разделения запросов один и тот же кэшированный контекст смогли использовать разные репозитории и несколько агентов.
В начале октября компания также перешла на переписанную версию OpenCode v2. При параллельном тестировании двух версий решения об одобрении совпали в 98% запросов на слияние, а полные проверки с одинаковыми моделями на новой версии завершались примерно на 13% быстрее.
Вклад отдельных изменений Cloudflare оценила сравнением показателей до и после релизов, а не контролируемым экспериментом. После оптимизации агент оценки качества кода стал публиковать на 40% меньше критических замечаний и предупреждений, но авторы вносили изменения после 59% из них вместо прежних 34%. Число замечаний, приведших к правкам, осталось примерно на прежнем уровне: 132 против 145 на 1000 проверок.