Компании ищут способы снизить расходы на AI из‑за стремительного роста потребления токенов
Популярность инструментов и сервисов generative AI резко подняла стоимость их использования. Главная причина проста: растет потребление токенов. Именно они служат базовой единицей измерения и тарификации работы AI. Большие языковые модели разбивают слова на токены и уже из них собирают смысл запроса, примерно так же как текст складывается из букв и слов в английском языке.
CEO Google Sundar Pichai называет токены «фундаментальными единицами данных, которые обрабатывают наши модели, многие из них представляют решаемую задачу». По его словам, Google обрабатывает около 3.2 quadrillion токенов в месяц.
По мере роста расходов компании и ИТ‑руководители ищут способы сократить затраты без потери продуктивности. Неконтролируемое потребление токенов уже приводило к неожиданным последствиям: одна из компаний получила счет за использование AI на $500 million. Поэтому экономию ищут на разных уровнях: в самих моделях, в инфраструктуре, в silicon, а также в бизнес‑подходах. Один из обсуждаемых вариантов, перенаправлять часть задач на более дешевые модели.
Ключевые факты
Токены используются как базовая единица измерения и тарификации использования ИИ; языковые модели разбивают текст на токены, чтобы обрабатывать запросы.
Генеральный директор Google Сундар Пичаи заявил, что токены стали «фундаментальными единицами данных, которые обрабатывают модели».
Google обрабатывает около 3.2 квадриллиона токенов в месяц.
Неконтролируемое использование токенов уже привело к неожиданному счету за ИИ в размере $500 million для одной компании.