Компания «Турбо Облако», которая входит в коммерческий ИТ-кластер «Ростелекома», запустила сервис Foundation Model Hub для работы с большими языковыми моделями через облачную инфраструктуру. Пользователи получают доступ к каталогу моделей и платят только за фактическое использование токенов.
Как сообщает CNews, сервис ориентирован в том числе на средний и малый бизнес. В этом случае компаниям не нужно самостоятельно закупать GPU-инфраструктуру и поддерживать развертывание моделей. В «Турбо Облако» также сообщили, что каталог регулярно обновляется по мере выхода новых версий ИИ-моделей.
Foundation Model Hub работает на GPU-инфраструктуре с ускорителями Nvidia H200 и сетью InfiniBand. По данным компании, вычислительные ресурсы автоматически масштабируются при увеличении нагрузки. Сервис размещен на мощностях дата-центров «РТК-ЦОД» уровня Tier III, а также на инфраструктуре «Ростелекома».
Чтобы подключиться к сервису, пользователю нужно выбрать модель, получить ключ доступа и интегрировать его в свою систему. Foundation Model Hub совместим со спецификацией OpenAI API, поэтому в большинстве случаев достаточно заменить базовый URL и API-ключ. Для контроля расходов предусмотрены отдельные API-ключи с лимитами потребления токенов, включая дневные, недельные и месячные ограничения.
Ключевые факты
Foundation Model Hub построен на ускорителях Nvidia H200 и сети InfiniBand
Сервис размещен на мощностях дата-центров «РТК-ЦОД» уровня Tier III
Для подключения к сервису достаточно получить API-ключ и заменить базовый URL
Пользователи могут задавать дневные, недельные и месячные лимиты потребления токенов для отдельных API-ключей