Текст
Разбиение на токены
Введите или вставьте текст выше, чтобы увидеть, как он делится на токены.
Каждый закрашенный блок — один токен. Наведите курсор на блок, чтобы увидеть ID токена. В блоке может быть несколько ID, если один символ — например, некоторые эмодзи или иероглифы — разбит на несколько токенов.
Количество токенов
Токены
0
Кодировка: o200k_base
Слова
0
Символы
0
Токенов на слово
0,00
Символов на токен
0,00
Слов на токен
0,00
Как ведётся подсчёт
Токены считаются с помощью js-tiktoken — порта открытой библиотеки tiktoken от OpenAI на JavaScript — в выбранной кодировке. Это число токенов самого текста. В статистике API запрос может занять немного больше токенов: сообщения чата содержат служебное форматирование, а изображения, файлы и описания инструментов считаются отдельно. Символы считаются по Unicode, поэтому эмодзи — это один символ.
Claude и Gemini
Claude от Anthropic и Gemini от Google используют собственные токенизаторы, поэтому числа здесь относятся только к кодировкам OpenAI. Оба провайдера объясняют, как считать токены для своих моделей. По оценке самой Google, для Gemini это примерно 4 символа на токен, или 60–80 английских слов на 100 токенов. Anthropic такого соотношения не приводит и называет свой подсчёт токенов оценкой.
Какую кодировку выбрать
o200k_base
В tiktoken эта кодировка закреплена за GPT-4o, GPT-4.1, GPT-4.5, GPT-5 и моделями рассуждений o1, o3 и o4-mini. Подходит для актуальных чат-моделей OpenAI.
cl100k_base
В tiktoken эта кодировка закреплена за GPT-4, GPT-3.5 Turbo и моделями эмбеддингов text-embedding-3 и ada-002. Подходит для этих более старых чат-моделей и для эмбеддингов.
Другие провайдеры
У Claude, Gemini, Llama и других семейств моделей свои токенизаторы. Один и тот же текст в каждом из них даёт разное число токенов, поэтому для таких моделей пользуйтесь счётчиком самого провайдера.
Уложиться в контекстное окно
Перед отправкой проверьте, помещается ли длинный промпт, документ или расшифровка в контекстное окно модели и остаётся ли место для ответа.
Оценить стоимость API
Умножьте число токенов на цену за токен со страницы тарифов провайдера, чтобы оценить стоимость входных токенов запроса.
Сравнить тексты и кодировки
Посмотрите, как числа, ссылки, код и другие языки меняют число токенов на слово и чем старая кодировка cl100k_base отличается от o200k_base на одном и том же тексте.
Источники
- OpenAI tiktoken — model to encoding map
- Anthropic — Token counting
- Google AI for Developers — Understand and count tokens
Последняя сверка лимитов с этими источниками: 2026-10-19.
Другие инструменты
Похожие инструменты
Подсчитайте слова и символы, проверьте читаемость черновика или переведите число слов в страницы.