Почему расчёт токенов перестал быть универсальной метрикой для AI-моделей

Разработчики всё чаще считают стоимость и объём контекста AI-моделей в токенах. При этом привычная формула «один токен, примерно одно слово» уже не даёт одинаково точного результата для разных систем. В материале о токенизации и расходах на инференс говорится, что различия между моделями и токенизаторами уже заметно влияют на расчёты бюджета и доступную длину контекста.

Как пишет Towards AI, к июлю 2026 года Anthropic использует пять активных линеек моделей: Haiku 4.5, Sonnet 5, Opus 4.8, Fable 5 и Mythos 5. OpenAI выпустила семейство GPT-5.6 с моделями Sol, Terra и Luna. Google, в свою очередь, поддерживает в продакшене Gemini 3.1 Pro и 3.5 Flash. В статье также приводится пример с Claude: новый токенизатор компании создаёт примерно на 30% больше токенов для одного и того же текста по сравнению с токенизатором Sonnet 4.6 и более ранних моделей.

Автор материала обращает внимание, что оценка «около четырёх символов на токен» всё хуже работает как универсальный ориентир, потому что результат зависит от конкретной модели. В статье собраны примеры и код, которые можно запускать без API-ключа. Численные данные, как уточняет автор, взяты из документации поставщиков моделей с указанием дат, поскольку параметры и стоимость быстро меняются.