«Турбо Облако» открыло облачный доступ к ИИ-моделям с оплатой по использованию токенов

Компания «Турбо Облако», которая входит в коммерческий ИТ-кластер «Ростелекома», запустила сервис Foundation Model Hub для работы с большими языковыми моделями через облачную инфраструктуру. Пользователи получают доступ к каталогу моделей и платят только за фактическое использование токенов.

Как сообщает CNews, сервис ориентирован в том числе на средний и малый бизнес. В этом случае компаниям не нужно самостоятельно закупать GPU-инфраструктуру и поддерживать развертывание моделей. В «Турбо Облако» также сообщили, что каталог регулярно обновляется по мере выхода новых версий ИИ-моделей.

Foundation Model Hub работает на GPU-инфраструктуре с ускорителями Nvidia H200 и сетью InfiniBand. По данным компании, вычислительные ресурсы автоматически масштабируются при увеличении нагрузки. Сервис размещен на мощностях дата-центров «РТК-ЦОД» уровня Tier III, а также на инфраструктуре «Ростелекома».

Чтобы подключиться к сервису, пользователю нужно выбрать модель, получить ключ доступа и интегрировать его в свою систему. Foundation Model Hub совместим со спецификацией OpenAI API, поэтому в большинстве случаев достаточно заменить базовый URL и API-ключ. Для контроля расходов предусмотрены отдельные API-ключи с лимитами потребления токенов, включая дневные, недельные и месячные ограничения.