Рост числа диалогов, а не модель, может стать главной причиной провала AI-проектов в продакшене

Автор материала рассказал о случае отладки production-системы с агентным ИИ: за шесть дней расходы выросли втрое, хотя кодовая база, инфраструктура и количество задач не менялись. Единственное отличие касалось среднего числа шагов в одной сессии, показатель увеличился с 3 до 10.

Разбор затрат показал, что ключевым фактором стал рост числа итераций внутри диалога. Как пишет Towards AI, многие команды сосредотачиваются на настройке промптов, A/B-тестировании моделей и метриках вроде accuracy, latency и F1 score, но при этом не анализируют саму функцию стоимости работы системы.

Автор утверждает, что стоимость агентных циклов растет квадратично, по модели O(N²), где N означает число шагов в диалоге. Среди причин он называет накопление токенов, увеличение контекста и распространение ошибок между итерациями. С этой проблемой материал связывает и тот факт, что значительная часть корпоративных AI-проектов так и не доходит до промышленного внедрения.