Towards AI описал, как меняются практики эксплуатации сервисов при переходе к LLM

Статья о подготовке LLM-сервисов к работе с реальной нагрузкой утверждает: базовые подходы к эксплуатации остаются теми же, что и в классической разработке ПО, но стандартные настройки приходится пересматривать. Речь о мониторинге, нагрузочном тестировании, ограничении трафика, повторных запросах, canary-развертываниях и runbooks. Как пишет Towards AI, сами операционные «примитивы» не меняются, однако для LLM-нагрузок нужны другие предположения о задержках, пропускной способности и стоимости ошибок.

В материале разбираются ситуации, в которых привычные подходы работают для LLM-систем некорректно. Например, алерты по задержке, рассчитанные на JSON API, могут не замечать деградацию потокового чата. Тестирование по числу запросов в секунду тоже способно давать неверную оценку емкости agentic-систем. Отдельно упоминается политика повторных запросов: то, что допустимо для обычной базы данных, при обращении к модели может оказаться слишком дорогим, поскольку каждая попытка стоит несколько долларов.

Автор делит материал на две части. В первой рассматриваются классические практики эксплуатации для синхронных API, OLAP-систем и потоковых пайплайнов. Среди тем: Little’s Law, throttling, retries и customer-facing protection. Вторая часть посвящена особенностям LLM-сервисов, включая измерение пропускной способности в токенах, долгоживущие WebSocket-соединения, prompt caching, guardrails, content safety и автоматический откат с учетом специфических для LLM сигналов качества.