Токен в нейросетях: что это, сколько токенов в слове и почему за них платят

Языковая модель видит текст не буквами и не словами, а токенами. Токен, по определению учебного курса Google, может быть словом, частью слова или отдельным знаком. Перед обработкой текст режет на токены программа-токенизатор, у каждой модели — своя. Ответ модель тоже пишет по одному токену, поэтому скорость генерации измеряют в токенах в секунду.

Пример из документации Yandex AI Studio: фразу «Управление генеративными моделями осуществляется с помощью промптов.» токенизатор YandexGPT Pro делит на 11 токенов. Частые слова — «управление», «моделями», «помощью» — остаются целыми, а редкие распадаются на части: «генера» + «тивными», «про» + «мп» + «тов».

В токенах считают всё, что проходит через модель: длину запроса и ответа, объём памяти в одном диалоге, лимиты и цену API. Картинки, звук и видео модель тоже переводит в токены. У Gemini, по данным Google, небольшое изображение занимает 258 токенов, секунда звука — 32, секунда видео — 263.

Для английского ориентиры дают сами разработчики. Google пишет, что токен Gemini — в среднем около 4 символов, а 100 токенов — примерно 60–80 английских слов. Anthropic оценивает 1 млн токенов своего нынешнего токенизатора в 555 тысяч слов, или 2,5 млн знаков; прежний токенизатор, до Claude Opus 4.7, укладывал в тот же миллион около 750 тысяч слов. Выходит, что на английское слово приходится примерно от 1,3 до 1,8 токена — в зависимости от модели.

Для русского текста число токенов сильнее зависит от токенизатора. Yandex AI Studio приводит пример: один и тот же текст на 517 знаков разные модели разбили на разное число токенов.

Отсюда практический расчёт. Текст на 10 000 знаков у YandexGPT Pro займёт около 1 860 токенов, у DeepSeek V4.1 Flash — около 2 480. Разница в токенах — это и разница в цене: одна и та же задача в модели с менее подходящим для русского языка токенизатором стоит дороже. Точное число показывают токенизаторы разработчиков, у «Яндекса» — метод Tokenizer в API.

Контекстное окно — предельный объём текста в токенах, который модель обрабатывает за один запрос: системные инструкции, приложенные документы, историю диалога и сам ответ. Всё, что выходит за окно, модель не видит. У Gemini 4, по документации Google, одно окно в 1 048 576 токенов делится между входом, рассуждением и ответом; у Claude окно — 1 млн токенов, а ответ ограничен отдельно, 128 тысячами.

На ноябрь 2026 года окно около миллиона токенов есть у моделей OpenAI, Anthropic, Google и DeepSeek. У российских моделей в API окно меньше: 128 тысяч токенов у GigaChat 2, 131 072 у Alice AI LLM. В пересчёте Anthropic миллион токенов — около 555 тысяч английских слов за один запрос.

Чат по подписке стоит фиксированную сумму в месяц и ограничен лимитами. Разработчики, которые подключают модель к своим программам через API, платят за объём: за каждый миллион токенов — у иностранных провайдеров в долларах, или за тысячу токенов — у Сбера и «Яндекса» в рублях с НДС. Цену считают отдельно для входа (что модель прочитала) и выхода (что написала). Выход дороже: у OpenAI и Anthropic — в 5 раз, у DeepSeek V4 Pro и Qwen3.8-Max — в 3 раза; Сбер берёт за вход и выход одинаково.

В счёт попадают не только видимые токены. Google в прайс-листе указывает, что выходные токены включают рассуждение модели — текст, который модель пишет для себя перед ответом. Есть и скидки:

• кэш — повторяющееся начало запроса, которое провайдер уже хранит: у Claude чтение из кэша стоит 10% базовой цены входа, у Opus 5.5 и Sonnet 5.5 — 5%, у Fable 5.2 — 2,5%;
• пакетная обработка без срочности: у Claude на 50% дешевле, у GigaChat в асинхронном режиме — вдвое;
• время суток: DeepSeek вне часов пик берёт вдвое меньше.

Пример: запрос на 10 000 токенов и ответ на 2 000 токенов у Claude Opus 5.5 стоят $0,04 + $0,04 = $0,08, или около 6,57 ₽. Счёт растёт с объёмом: клиенты Yandex AI Studio в третьем квартале 2026 года израсходовали через API 946 млрд токенов — вчетверо больше, чем за весь 2025 год.

Цены — базовые, без скидок, с официальных страниц разработчиков. Рубли для долларовых цен посчитаны по курсу Банка России на 14 ноября 2026 года: 82,1516 ₽ за доллар; цены Сбера и «Яндекса» — в рублях с НДС, пересчитаны с 1000 токенов на миллион.

У DeepSeek меньшая цена — вне часов пик, большая — по будням с 04:00 до 07:00 и с 09:00 до 13:00 по Москве. Qwen — цены региона «Сингапур» для международных клиентов. Сбер указывает одну цену за токен, без деления на вход и выход.

Слово «токен» в технологиях означает три разные вещи, и в новостях они встречаются рядом.

• Токен в нейросетях — фрагмент текста, о котором эта справка. Биржевой цены у него нет: платят за обработку токенов моделью.
• Криптовалютный токен — цифровой актив в блокчейне. Запросы «цена токена» в поиске чаще всего про него.
• Токен доступа — секретная строка, по которой программа входит в сервис, в том числе в API нейросети. Утечка такого токена позволяет чужим людям тратить деньги владельца.

Соседние термины этой справки: LLM — модель, которая читает и пишет токены; промпт — текст запроса, длину которого считают в токенах; токенизация — разбиение текста на токены; контекстное окно — предельное число токенов в одном запросе.