Couchbase рассказала, как построила многомодельную AI-архитектуру для сервиса Capella iQ на базе Amazon Bedrock и моделей семейства Claude от Anthropic. Платформа используется для генерации SQL++-запросов, рекомендаций по индексам, а также для многошаговых диалогов с разработчиками.
Как сообщает AWS Machine Learning Blog, компания перешла к модели с поддержкой нескольких поставщиков foundation models на фоне роста корпоративного использования Capella iQ. Дополнительными причинами стали требования к отказоустойчивости, масштабированию и гибкости развертывания. Архитектура работает в двух AWS Regions: us-east-1 и us-west-2. В основе лежит Amazon EKS и набор микросервисов, которые обрабатывают API-запросы, внутреннюю маршрутизацию моделей и tenant-настройки.
Для подключения к Amazon Bedrock используется VPC interface endpoint. Благодаря этому inference-трафик остается внутри инфраструктуры AWS и не выходит в публичный интернет. Cross-Region Inference распределяет запросы между us-east-1, us-east-2 и us-west-2. Это позволяет автоматически перенаправлять нагрузку при пиковом спросе или деградации отдельного региона, без ручного вмешательства на уровне приложения.
Ключевые факты
Архитектура Capella iQ развернута в AWS Regions us-east-1 и us-west-2 для обеспечения высокой доступности.
В Amazon EKS используются микросервисы cp-api, cp-internal-api и cp-ns для обработки запросов, маршрутизации моделей и tenant-конфигураций.
Cross-Region Inference в Amazon Bedrock распределяет запросы между us-east-1, us-east-2 и us-west-2.
Система поддерживает генерацию SQL++-запросов, рекомендации по индексам и многошаговые диалоги с разработчиками.
