К содержанию
Новости

Почему агентные циклы ИИ ломаются в продакшене через несколько дней и как это исправляет трёхслойная архитектура

Почему агентные циклы ИИ ломаются в продакшене через несколько дней и как это исправляет трёхслойная архитектура
Фото: Towards AI

Многие системы с ИИ‑агентами строят вокруг простого цикла выполнения задач. На практике такая схема часто не выдерживает реальной эксплуатации. Как пишет Towards AI, без механизма durable orchestration агентный цикл легко ломается после перезапуска процесса. Система теряет состояние, заново выполняет уже завершённые шаги и тратит лишние токены. В индустрии много говорят о внутренних частях агентных систем, automations, worktrees, skills и hierarchical supervision loops. При этом уровень исполнения, который управляет самим циклом, нередко остаётся в стороне.

Автор описывает реальный сбой в продакшене. Автономный агент обрабатывал входящие тикеты поддержки и в среде разработки работал стабильно. После запуска под нагрузкой ситуация изменилась. Через три дня сервер перезапустился из‑за ошибки out-of-memory (OOM). Когда процесс восстановился, система снова обработала последние 47 тикетов. Повторно ушли API‑запросы и письма клиентам, что вызвало волну жалоб. Этот случай хорошо показывает проблему: если цикл не переживает перезапуск процесса, он превращается в источник рисков.

По мнению автора, дело не в промптах, а в инфраструктуре распределённых систем. При масштабировании агентам приходится асинхронно контролировать другие циклы, запускаться по строгим cron‑расписаниям, переживать сбои среды выполнения и инфраструктурные деплои. Иногда они создают независимых суб‑агентов и ждут их результатов часами. Параллельно нужно сохранять наблюдаемость, чтобы позже можно было провести аудит. Простая конструкция while True внутри долгоживущего процесса состояние не сохраняет. В итоге появляются повторные обращения к LLM, дубли сообщений и другие побочные эффекты.

В качестве решения предлагается архитектура из трёх слоёв: Loop, Skill и Orchestrator. Каждое действие получает чекпоинт, принятые решения сохраняются, а выполнение может продолжиться точно с места сбоя. В статье показаны подходы к durable execution на примерах Inngest и Temporal. По приведённым метрикам такая организация работы снижает расход токенов на 34% и экономит около 20 часов работы в неделю.

Ключевые факты

  • В описанном случае автономный агент для обработки тикетов поддержки после перезапуска сервера из‑за ошибки out-of-memory повторно обработал последние 47 тикетов и отправил дублирующие API‑запросы и письма клиентам.

  • Автор приводит пример архитектуры из трех слоев: Loop, Skill и Orchestrator для построения production‑систем с durable execution.

  • В качестве примеров реализации durable orchestration в статье упомянуты Inngest и Temporal.

  • В материале заявлены метрики применения подхода: экономия 34% токенов и сокращение работы на 20 часов в неделю.