Исследователь Matt Lenhard изучил рынок сервисов, которые продают доступ к LLM-токенам со скидкой, объединяя API-ключи из разных источников. Как пишет Simon Willison's Weblog, особенно активно такая схема используется в Китае: реселлеры предлагают прокси-доступ к моделям дешевле стандартных API-тарифов.
Скидки достигаются разными способами. В ход идут бесплатные пробные периоды, проксирование запросов через незащищённые support-боты, а иногда и украденные банковские карты или chargeback-атаки. Для работы таких прокси обычно используют open source ПО, прежде всего one-api и его форк new-api. Сами по себе эти инструменты считаются легитимными продуктами для балансировки запросов между несколькими API-учётными данными.
По данным расследования, пользователи подобных сервисов ищут более дешёвые токены, обходят географические ограничения и в некоторых случаях собирают данные для distillation моделей. Автор заметки добавляет, что существование такого рынка повышает риски для публично доступных LLM-приложений. Если кто-то находит незащищённый endpoint, это уже может приносить доход целой экосистеме посредников.
Ключевые факты
В расследовании упоминаются open source проекты one-api и new-api для балансировки запросов между несколькими API-учётными данными
Реселлеры используют бесплатные trial-доступы, незащищённые support-боты и иногда украденные банковские карты или chargeback-атаки
Покупатели relay-сервисов используют их для получения дешёвых токенов, обхода географических ограничений и сбора данных для distillation моделей