Расследование описало рынок перепродажи LLM-токенов через прокси и уязвимые API

Исследователь Matt Lenhard изучил рынок сервисов, которые продают доступ к LLM-токенам со скидкой, объединяя API-ключи из разных источников. Как пишет Simon Willison's Weblog, особенно активно такая схема используется в Китае: реселлеры предлагают прокси-доступ к моделям дешевле стандартных API-тарифов.

Скидки достигаются разными способами. В ход идут бесплатные пробные периоды, проксирование запросов через незащищённые support-боты, а иногда и украденные банковские карты или chargeback-атаки. Для работы таких прокси обычно используют open source ПО, прежде всего one-api и его форк new-api. Сами по себе эти инструменты считаются легитимными продуктами для балансировки запросов между несколькими API-учётными данными.

По данным расследования, пользователи подобных сервисов ищут более дешёвые токены, обходят географические ограничения и в некоторых случаях собирают данные для distillation моделей. Автор заметки добавляет, что существование такого рынка повышает риски для публично доступных LLM-приложений. Если кто-то находит незащищённый endpoint, это уже может приносить доход целой экосистеме посредников.