Главная / LLM Handbook / Токенизация
Токенизация
Коротко: токенизатор превращает текст в последовательность чисел (token id) и обратно. Модель не видит ни слов, ни букв — только токены. Ошибки «модель посчитала символы не так» и «контекст кончился раньше» почти всегда про токенизацию.
Как это работает
- Словарь (vocabulary) — фиксированный список токенов, выученный до обучения модели (типично 32k–256k записей). Каждому токену присвоен номер.
- BPE (Byte-Pair Encoding) — стандартный способ построить словарь: начать с байтов/символов и итеративно склеивать самые частые пары, пока не наберётся нужный размер словаря. Частые слова (« и », «the») становятся целыми токенами; редкие слова собираются из нескольких фрагментов.
- Спецтокены — служебные токены вне обычного текста: BOS/EOS, маркеры ролей чата. Их неправильная обработка ломает диалог — см. Чат-шаблоны.
- Токен → embedding — номер превращается в вектор, дальше работает модель. Обратно текст собирается детерминированно: токены → словарь → строка.
Почему это важно на практике
- Токен ≠ слово. В английском ≈ 0,75 слова на токен (4 символа ≈ 1 токен как эвристика); для русского токенов на слово обычно больше — кириллица фрагментируется сильнее в большинстве словарей. Итог: русский текст съедает контекст и стоит дороже.
- Контекст меряется токенами. «10 страниц» ничего не значит без токенизатора конкретной модели — см. Контекстное окно.
- Числа и код фрагментируются неудобно (
2026-11-15может быть 4–6 токенов) — отсюда известные слабости LLM в арифметике и посимвольных задачах. - Токенизатор — часть модели. Смена токенизатора = другая модель; сравнивать «по токенам» можно только внутри одной модели.
Связь с llama.cpp
- Токенизатор хранится внутри GGUF в метаданных (
tokenizer.*): модель самодостаточна, см. Формат GGUF. - Сервер даёт прямой доступ:
POST /tokenizeиPOST /detokenize— удобно для прикидки длины промпта до отправки, см. HTTP API llama-server. - Если токенизатор в GGUF повреждён или переопределён неверно, модель выдаёт мусор — диагностика в «Модель не загружается».
Что читать дальше
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.