К содержанию
Новости

Китайская Infinigence нарастила объём токен‑запросов более чем в 20 раз за четыре месяца

Китайская Infinigence нарастила объём токен‑запросов более чем в 20 раз за четыре месяца
Фото: Pandaily

Китайская Infinigence, связанная с Department of Electronic Engineering в Tsinghua University, строит инфраструктуру для ИИ и описывает себя как нейтральную «token factory» между производителями чипов и разработчиками моделей. В мае компания раскрыла данные по своей платформе Agentic MaaS: объём token call вырос более чем в 20 раз с декабря по апрель. Этот скачок хорошо показывает сдвиг в отрасли. Нагрузка на вычисления для inference уже превышает затраты на обучение моделей.

По прогнозам, мировые корпоративные расходы на инфраструктуру для inference достигнут $68 billion в 2026 году. Для сравнения, на инфраструктуру для training ожидается $45 billion. При этом сама Infinigence не делает универсальные LLM, не производит чипы и не выпускает потребительские приложения. Компания сосредоточена на другом: она распределяет и оптимизирует вычислительные ресурсы, превращая их в токены. Система Agentic Infra предполагает интеграцию со стороны производителей чипов, разработчиков моделей и создателей приложений. В такой схеме цепочка создания ценности формируется на уровне программного обеспечения и алгоритмов.

Подход опирается на формулу токен-экономики: AI Productivity = Intelligence Scale x Token Production Efficiency x Token Value Conversion. Когда цикл генерации токенов замыкается в коммерческую модель, начинает работать эффект «маховика». Чем больше пользователей, тем выше спрос. Это даёт возможность точнее распределять ресурсы и повышать эффективность, что в свою очередь привлекает новых пользователей.

Одним из ключевых технических элементов эффективности компания считает разделение стадий prefill и decode. В процессе inference LLM этап prefill отвечает за вычислительно интенсивное понимание контекста, а decode связан с коммуникационно интенсивной генерацией токенов. Если назначать эти этапы разным типам чипов, оптимизированным под соответствующую нагрузку, можно значительно улучшить экономику вычислений. Infinigence заявляет об улучшении соотношения стоимости и производительности в 5–10 раз для моделей с trillion параметров. Такой подход также создаёт практический сценарий использования китайских чипов на этапе prefill.

CEO Xia Lixue сравнивает текущий момент с переходом от 3G к 4G. По его мнению, в эпоху токенов важную роль могут сыграть небольшие команды из 10–20 человек, которые используют ИИ и достигают производительности, значительно превосходящей традиционные организации сопоставимого размера.

Ключевые факты

  • Китайская AI‑компания Infinigence, связанная с Department of Electronic Engineering в Tsinghua University, позиционирует себя как нейтральную «token factory» между производителями чипов и разработчиками моделей.

  • По раскрытым в мае данным, на платформе Agentic MaaS число token‑запросов выросло более чем в 20 раз в период с декабря по апрель.

  • Прогноз глобальных корпоративных расходов на инфраструктуру inference составляет $68 млрд в 2026 году против $45 млрд на инфраструктуру обучения моделей.

  • Архитектурный подход с разделением фаз prefill и decode позволил Infinigence добиться улучшения соотношения стоимость‑производительность в 5–10 раз для моделей с триллионами параметров.