«Группа Астра» представила платформу «Боцман AI» для запуска ИИ-моделей внутри корпоративного контура

«Группа Астра» представила платформу «Боцман AI» для запуска языковых и других ИИ-моделей внутри защищённой инфраструктуры компании, без передачи данных во внешние облачные сервисы. Решение стало расширением платформы «Боцман» для оркестрации контейнеров на базе Kubernetes, которая входит в Astra Dev Platform.

Как сообщает ComNews, платформа рассчитана на компании с изолированными или регулируемыми инфраструктурами, где действуют ограничения на передачу данных во внешние сервисы. В компании говорят, что «Боцман AI» берёт на себя задачи, для которых раньше требовался отдельный инфраструктурный проект: настройку GPU, загрузку весов моделей, конфигурацию runtime, эндпоинтов и мониторинга.

Платформенная команда описывает модель через стандартный Kubernetes-ресурс. После этого система автоматически подготавливает хранилище весов и запускает runtime с нужным движком, включая vLLM, Ollama, SGLang и FasterWhisper. Разработчики приложений получают OpenAI-совместимый API, поэтому для перехода на корпоративную модель достаточно поменять адрес сервиса.

В «Боцман AI» также встроены автоматическое масштабирование под нагрузку, система биллинга и управление API-ключами с контролем бюджетов. Установка выполняется через Боцман Apps & Marketplace в формате Helm-чарта.