Агенты Anthropic ждут людей 80% времени, а Cloudflare снизила стоимость ИИ-проверки кода на 68%

В Anthropic интерактивные ИИ-агенты к августу работали в шесть раз больше часов, чем сотрудники, но до 80% времени сессий ожидали человеческого ввода. У Cloudflare другая проблема проявилась в стоимости: средняя цена ИИ-проверки кода выросла более чем вдвое, после чего компания сократила ее на 68% за счет перенастройки всей системы.

Эти кейсы показывают две стороны экономики ИИ-агентов. В первом случае ограничением стало внимание сотрудников, которым нужно проверять результаты и принимать решения. Во втором расходы удалось снизить после оптимизации кода агента, выбора моделей и объема вычислений.

16 октября Anthropic опубликовала исследование собственной организации труда. Компания обнаружила, что выпуск рос по мере внедрения новых инструментов, но сотрудникам приходилось следить за несколькими параллельными агентами. 19 октября Cloudflare раскрыла результаты оптимизации своего агента для проверки кода: стоимость одной проверки снизилась до 0,77 доллара, а медианное время — до 1 минуты 32 секунд.

Что происходит: выпуск растет быстрее способности его проверить

Anthropic изучила данные об использовании ИИ, выпуске, календарях, найме и внутренних коммуникациях, дополнив их 17 интервью. Сотрудники стали создавать больше кода, закрывать больше продаж и обрабатывать больше договоров. Число коммитов инженеров за полгода выросло в пять раз.

До 80% прошедшего времени в сессиях Claude приходилось на ожидание человеческого ввода. Доля интерактивных сессий, посвященных настройке и наблюдению за агентами, выросла с 10% до 22%. Даже чтение всего результата агентов заняло бы у нетехнических сотрудников около половины рабочей недели.

Проверка, расстановка приоритетов и решения, которые компания не готова делегировать модели, становятся ограничениями для дальнейшего роста выпуска.

Производственный кейс Odyssey Logistics показывает, как человеческий контроль можно встроить в такой процесс. Команда из семи специалистов Cognizant использовала агента Devin при переносе логики старой транспортной системы из Microsoft Access и Visual Basic for Applications в облачные приложения. Агент помогал создавать код, тесты, документацию и конвейеры развертывания, а каждое изменение до объединения проверял и утверждал технический руководитель или архитектор.

Пропускная способность проекта выросла примерно на треть, а чистая экономия относительно обычного подхода составила 37%. Текущая фаза системы работает в производственном контуре.

Как устроена полная стоимость агента

Обычный чат с моделью состоит из запроса и ответа. Агент планирует работу, читает файлы, вызывает инструменты, повторяет неудачные шаги и проверяет промежуточные результаты. По оценке IBM, агентная задача может потреблять в 10–100 раз больше токенов, то есть обрабатываемых моделью фрагментов текста, чем единичный диалог с чат-ботом.

Цена обращений к модели составляет только часть стоимости задачи. Если агент ошибается в середине длинной цепочки, компания оплачивает неверный шаг, его обнаружение, исправление и повторное выполнение работы. Поэтому экономику агента нужно считать до окончательной приемки результата, а не только по числу запросов или времени генерации.

Cloudflare столкнулась с ростом средней стоимости ИИ-проверки кода с 1,22 доллара в марте до 2,32 доллара в августе. В начале августа перевод всех проверяющих агентов на модели Anthropic поднял стоимость задания с 1,38 до 2,03 доллара. На этой нагрузке модели лучше проходили внутренние оценки Cloudflare, но обходились дороже.

После оптимизации кода системы, выбора моделей и уровня вычислительных усилий средняя стоимость проверки снизилась до 0,77 доллара. Медианное время сократилось с 4 минут 9 секунд до 1 минуты 32 секунд. Около 40% экономии Cloudflare связывает с изменениями кода проверяющего агента, остальное — с настройкой моделей и объема вычислений.

Компания организовала повторное использование общей части контекста между заданиями, убрала недоступные агентам инструменты и лишние обращения к моделям, а также стала пропускать проверки, для которых в коде не появилось новых данных. Снижение числа вызовов одновременно уменьшило расходы и время ожидания.

Сопоставление цифр: что действительно можно считать результатом

Показатели четырех кейсов относятся к разным уровням работы: от отдельной проверки кода до экономики проекта и организации труда всей компании. Поэтому их нельзя использовать как единый рейтинг эффективности агентов.

Испытание METR охватывало реальные задачи в открытых проектах. Замедление связывали с проверкой, исправлением и интеграцией сгенерированного кода. Более позднее исследование с новыми агентными инструментами зафиксировало рост общей производительности, поэтому оценку нужно повторять по мере изменения моделей и рабочих процессов.

Для расчета окупаемости денежный эффект связывают с итогом процесса. Сэкономленные часы дают финансовый результат, если компания увеличивает выпуск тем же составом, избегает найма, сокращает внешние расходы или направляет ресурсы на другую измеримую работу.

Microsoft отдельно предупреждает о ловушке теоретической экономии времени. Число сессий и активность пользователей показывают использование агента, но не его ценность: эти показатели нужно связывать с затратами, качеством, выручкой или пропускной способностью.

Кто выигрывает и кто оплачивает проверку

Проще всего оценить агентов в процессах с повторяемыми операциями, формализованными правилами и проверяемым результатом. В разработке можно сопоставлять срок от постановки задачи до внедрения, долю принятых изменений, результаты автоматических тестов и дефекты после выпуска.

Если тестировщики, архитекторы или руководители перегружены, ускорение первоначальной генерации не увеличивает пропускную способность всего процесса. Работа сотрудников при этом смещается к постановке заданий, разбору исключений, проверке результата и координации нескольких агентов.

В Anthropic медианный сотрудник стал проводить на встречах на 20% больше времени, а технические специалисты без управленческой роли — на 16% больше. На календарь также повлияли рост компании и расширение нетехнических подразделений, поэтому увеличение нельзя целиком объяснить внедрением ИИ.

На старте возможен временный спад: команда учится формулировать задачи, создает тесты, настраивает доступ и обнаруживает ограничения процесса. Эффективность зависит от качества доступного агенту контекста, соответствия модели задаче и проверок, которые останавливают ошибку до того, как она распространится на следующие этапы.

Последствия в России: пилот нужно начинать с базового замера

По исследованию «Инфосистемы Джет» и Smart Ranking, 86% опрошенных крупных российских компаний используют или пилотируют большие языковые модели, а 53% вывели решения генеративного ИИ в промышленную эксплуатацию. Проекты с полуавтономными агентами запускали 59%, но постоянно использовали их только 15%. Для автономных и мультиагентных систем доля промышленного применения составляла по 8%.

Устойчивого экономического эффекта от ИИ не увидели 46% респондентов. Среди препятствий для агентов 44% компаний назвали незрелость процессов, данных и интеграций, 58% — стоимость серверов, 56% — юридические риски. Еще по 40% не могли масштабировать пилоты из-за отсутствия владельца продукта или процесса и нестабильного качества решений.

До пилота компании нужен замер обычного процесса, с которым затем можно сравнить работу с агентом. Он должен охватывать срок до окончательной приемки, трудозатраты людей, возвраты на исправление, дефекты и расходы. Во время пилота те же показатели собирают для сопоставимых задач.

Microsoft рекомендует определить ценность до разработки, собирать телеметрию с первого взаимодействия и назначить ответственного руководителя, который будет регулярно проверять результаты. Основанием для масштабирования может быть сокращение стоимости или срока сопоставимых задач при сохранении требуемого качества.