immers.cloud представил Foundation Models, каталог open-source LLM с оплатой за время GPU

Платформа immers.cloud запустила сервис Foundation Models. Это каталог open-source LLM с возможностью запускать инференс на GPU. Как сообщает Tproger, проект рассчитан на использование вычислительных мощностей в РФ. Вместо схемы pay-per-token здесь действует другая модель оплаты, пользователь платит за время работы сервера.

В каталоге представлены open-source LLM. Для них можно запускать инференс через GPU-инфраструктуру сервиса. При запуске система также предлагает автоматический подбор конфигураций, чтобы упростить работу с моделями.

Для тестирования доступны публичные эндпоинты. Через них можно быстро проверить, как работает та или иная модель, и поэкспериментировать с ее применением, не разворачивая собственную инфраструктуру.