Что такое токены?

Что такое токены

Токен — это минимальная единица текста, которую обрабатывает языковая модель. Это не символ и не слово — что-то среднее.

Примерные соотношения для русского текста:

• короткое слово (кот, дом) — 1–2 токена
• длинное слово (программирование) — 3–5 токенов
• пробелы и знаки препинания — тоже токены

Почему это важно: модели тарифицируются по токенам. Чем длиннее ваш промпт и ответ — тем дороже запрос. Контекстное окно тоже измеряется в токенах.

Быстрая оценка: 1000 токенов ≈ 750 слов на английском, на русском чуть меньше из-за кириллицы.

Если коротко: токены — это «атомы» текста для модели. Понимать их природу полезно, чтобы не удивляться, почему модель иногда режет длинные слова или считает пробел отдельным элементом.