Платформа immers.cloud запустила сервис Foundation Models. Это каталог open-source LLM с возможностью запускать инференс на GPU. Как сообщает Tproger, проект рассчитан на использование вычислительных мощностей в РФ. Вместо схемы pay-per-token здесь действует другая модель оплаты, пользователь платит за время работы сервера.
В каталоге представлены open-source LLM. Для них можно запускать инференс через GPU-инфраструктуру сервиса. При запуске система также предлагает автоматический подбор конфигураций, чтобы упростить работу с моделями.
Для тестирования доступны публичные эндпоинты. Через них можно быстро проверить, как работает та или иная модель, и поэкспериментировать с ее применением, не разворачивая собственную инфраструктуру.
Ключевые факты
immers.cloud запустил сервис Foundation Models, каталог open-source LLM
Инференс моделей выполняется на GPU‑инфраструктуре в РФ
Оплата в сервисе привязана к времени работы сервера вместо схемы pay-per-token
Доступны автоподбор конфигураций и публичные эндпоинты для тестирования моделей