Отчёт: GKE Inference Gateway ускоряет ответы ИИ и сокращает задержки
По мере того как generative AI переходит от экспериментальных пилотов к крупным production‑развёртываниям, эффективность инфраструктуры становится ключевым фактором. В Google Cloud отмечают, что снизить простой ускорителей и повысить эффективность обработки можно с помощью Google Kubernetes Engine (GKE) Inference Gateway, который маршрутизирует нагрузки generative AI на основе метрик model server в реальном времени.
В отличие от традиционного round-robin load balancing, который может вызывать повторные вычисления на ускорителях и увеличивать задержку для пользователей, это расширение GKE Gateway использует такие возможности, как prefix caching и model-aware routing. Такой подход направляет запросы на тот ускоритель, который уже подготовлен для их обработки, что улучшает использование оборудования при обслуживании large language models (LLMs).
Согласно независимому benchmark report, GKE Inference Gateway показывает более высокую производительность по сравнению с next leading managed Kubernetes service: throughput выше на 15.7%, время ожидания короче на 92.8%, а inter-token latency ниже на 62.6%.
Ключевые факты
Согласно независимому бенчмарку, GKE Inference Gateway показал на 15.7% более высокий throughput по сравнению со следующим ведущим управляемым Kubernetes‑сервисом.
В том же отчёте ожидание ответа при использовании GKE Inference Gateway оказалось на 92.8% короче.
Интер‑токенная задержка при работе через GKE Inference Gateway оказалась на 62.6% ниже по сравнению со следующим ведущим управляемым Kubernetes‑сервисом.
GKE Inference Gateway маршрутизирует запросы генеративного ИИ на основе метрик модельных серверов в реальном времени и использует prefix caching и model-aware routing.