«Группа Астра» представила платформу «Боцман AI» для запуска языковых и других ИИ-моделей внутри защищённой инфраструктуры компании, без передачи данных во внешние облачные сервисы. Решение стало расширением платформы «Боцман» для оркестрации контейнеров на базе Kubernetes, которая входит в Astra Dev Platform.
Как сообщает ComNews, платформа рассчитана на компании с изолированными или регулируемыми инфраструктурами, где действуют ограничения на передачу данных во внешние сервисы. В компании говорят, что «Боцман AI» берёт на себя задачи, для которых раньше требовался отдельный инфраструктурный проект: настройку GPU, загрузку весов моделей, конфигурацию runtime, эндпоинтов и мониторинга.
Платформенная команда описывает модель через стандартный Kubernetes-ресурс. После этого система автоматически подготавливает хранилище весов и запускает runtime с нужным движком, включая vLLM, Ollama, SGLang и FasterWhisper. Разработчики приложений получают OpenAI-совместимый API, поэтому для перехода на корпоративную модель достаточно поменять адрес сервиса.
В «Боцман AI» также встроены автоматическое масштабирование под нагрузку, система биллинга и управление API-ключами с контролем бюджетов. Установка выполняется через Боцман Apps & Marketplace в формате Helm-чарта.
Ключевые факты
«Боцман AI» запускает runtime с движками vLLM, Ollama, SGLang и FasterWhisper
Платформа предоставляет OpenAI-совместимый API для корпоративных моделей
Обновления моделей выполняются без окна недоступности
Установка доступна через Боцман Apps & Marketplace в виде Helm-чарта