На DevSparks 2026 в NVIDIA призвали разработчиков учитывать «tokeconomics» при выборе ИИ‑моделей
Стоимость работы с ИИ напрямую связана с токенами, базовой единицей, с помощью которой модели измеряют и тарифицируют прочитанный и сгенерированный текст. По словам Jigar Halani, Senior Director of Enterprise Solutions Architecture and Engineering at NVIDIA South Asia, для многих компаний расходы на токены растут быстрее, чем создаваемая ими ценность. Выступая на DevSparks 2026 в Bengaluru, он отметил, что управлять этой экономикой должны прежде всего разработчики, поскольку именно их решения определяют итоговые затраты.
Halani подчеркнул, что выбор модели, это не только технический, но и финансовый вопрос. Размер модели, «30B, 100B, half a trillion, trillion model size», влияет на throughput, latency и стоимость, и более крупная модель не всегда означает лучший выбор. Экономия достигается, когда размер модели соответствует задаче, а не используется самая мощная модель по умолчанию. Дополнительные расходы также возникают из-за длины контекста: чем больше контекста передается в запросе, тем больше токенов потребляется, что особенно заметно в высокочастотных рабочих процессах.
Он также отметил, что разрыв в производительности между open source и proprietary моделями значительно сократился по сравнению с прошлым годом, из‑за чего вопрос build или buy стал более актуальным. При редком использовании APIs могут быть дешевле, однако если несколько команд одновременно запускают agents, coding assistants и internal tools, стоимость доступа по API на токен может стать невыгодной, и организациям рациональнее запускать собственную модельную инфраструктуру. По словам Halani, до 2024 года типичная small-to-midsize non-tech company потребляла миллионы токенов, а теперь речь идет о миллиардах; у technology companies годовое потребление достигает триллионов. Он также отметил, что conversational взаимодействие генерирует около «150 million tokens per day», тогда как agentic задачи могут достигать «tens of billions of tokens per day».
Ключевые факты
На DevSparks 2026 в Бенгалуру Jigar Halani, Senior Director of Enterprise Solutions Architecture and Engineering в NVIDIA South Asia, заявил, что экономика токенов стала ключевым вопросом для компаний и зависит от решений разработчиков.
Выбор размера модели, например 30B, 100B, half a trillion или trillion, напрямую влияет на throughput, latency и стоимость, при этом более крупная модель не всегда необходима для простых текстовых задач.
По словам Halani, до 2024 небольшие и средние нетехнологические компании обычно потребляли токены на уровне миллионов, а теперь те же клиенты говорят о миллиардах; у технологических компаний годовое потребление достигает триллионов.
Один разговорный сценарий может генерировать около 150 million tokens per day, тогда как агентные задачи вроде бронирования перелёта могут приводить к нагрузке в tens of billions of tokens per day.