Epoch AI: спрос на токены может расти быстрее глобальных мощностей инференса

Исследователи из Epoch AI оценили мировую пропускную способность инференса и сопоставили её с косвенными индикаторами спроса на токены. На фоне активного строительства дата‑центров гиперскейлерами, которые тратят на это сотни миллиардов, остаётся открытым вопрос: хватит ли будущего спроса. По оценке St. Louis Fed, инвестиции, связанные с AI, добавили около 1 percentage point, почти 40% от общего роста, к росту реального ВВП США в первые три квартала 2025 года, превысив вклад IT‑инвестиций на пике dot-com boom.

В работе оценивается, сколько токенов в секунду способна производить существующая вычислительная инфраструктура. Авторы смоделировали runtimes для prefill и decode, учли техники chunked prefill и speculative decoding, затем откалибровали результаты по данным SemiAnalysis’s InferenceX. Расчёты показывают: имеющиеся чипы могли бы обслуживать от 500 million до 20 billion output tokens per second для модели уровня Kimi K2.6 по состоянию на Q4 2025. Итог зависит от длины контекста запросов. По оценке авторов, глобальная мощность инференса при этом растёт более чем втрое в год по мере развёртывания инфраструктуры и повышения эффективности чипов.

Для сопоставления использовались косвенные показатели спроса. Среди них рост количества токенов, обслуживаемых на платформах Google, а также интенсивность использования токенов в крупнейших технологических компаниях, экстраполированная на всех software engineers в мире. Эти расчёты дают диапазон спроса от 200 million до 4 billion tokens per second при текущих ценах; при этом показатель увеличивается примерно в 10× в год. Базовый сценарий авторов предполагает запуск Kimi K2.6, модели, названной самой способной open model в Epoch Capabilities Index (ECI), на всех Nvidia GB200 и GB300 (1.9 million и 1.5 million individual GPUs по состоянию на Q4 2025). Чипы объединяются в конфигурации NVL72 с 72 чипами на стойку, вместе они дают около 40% совокупного предложения по FLOP/s.