Ramp представила Router, сервис для пользователей и компаний, который дает доступ к разным большим языковым моделям и позволяет переключаться между ними по API. Как сообщает TechCrunch, изначально компания создала маршрутизатор для собственных задач и использовала его последние три года.
Сейчас Router работает только в США. До конца 2026 года сервисом можно пользоваться бесплатно, однако инференс моделей оплачивается отдельно. При запуске пользователи получают кредит на 26 $. Стоимость Router в следующем году Ramp пока не раскрыла.
Через Router доступны модели OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI и Z.ai. Пользователь может задать предпочтения для flex-уровней провайдеров и выбрать модель максимум по трем показателям. Сложные задачи можно направлять только в дорогие модели. Кроме того, сервис позволяет тестировать разные модели без необходимости постоянно переключаться между ними. На панели отображаются расход токенов, стоимость, задержка, попытки резервного переключения и другие сведения.
По умолчанию Router в течение одного года хранит входные и выходные данные моделей, а также вызовы инструментов. Эту функцию можно отключить. Ramp утверждает, что перед использованием материалов для улучшения продукта удалит информацию, по которой можно идентифицировать человека.
Ключевые факты
Router доступен только в США и предоставляется бесплатно до конца 2026 года, но инференс моделей оплачивается отдельно.
При запуске пользователям доступен кредит на 26 $, а стоимость сервиса в следующем году не объявлена.
Сервис дает доступ к моделям OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI и Z.ai.
По умолчанию входные и выходные данные моделей, а также вызовы инструментов хранятся один год.