LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Токенизация

Токенизация

Коротко: токенизатор превращает текст в последовательность чисел (token id) и обратно. Модель не видит ни слов, ни букв — только токены. Ошибки «модель посчитала символы не так» и «контекст кончился раньше» почти всегда про токенизацию.

Как это работает

  1. Словарь (vocabulary) — фиксированный список токенов, выученный до обучения модели (типично 32k–256k записей). Каждому токену присвоен номер.
  2. BPE (Byte-Pair Encoding) — стандартный способ построить словарь: начать с байтов/символов и итеративно склеивать самые частые пары, пока не наберётся нужный размер словаря. Частые слова (« и », «the») становятся целыми токенами; редкие слова собираются из нескольких фрагментов.
  3. Спецтокены — служебные токены вне обычного текста: BOS/EOS, маркеры ролей чата. Их неправильная обработка ломает диалог — см. Чат-шаблоны.
  4. Токен → embedding — номер превращается в вектор, дальше работает модель. Обратно текст собирается детерминированно: токены → словарь → строка.

Почему это важно на практике

  • Токен ≠ слово. В английском ≈ 0,75 слова на токен (4 символа ≈ 1 токен как эвристика); для русского токенов на слово обычно больше — кириллица фрагментируется сильнее в большинстве словарей. Итог: русский текст съедает контекст и стоит дороже.
  • Контекст меряется токенами. «10 страниц» ничего не значит без токенизатора конкретной модели — см. Контекстное окно.
  • Числа и код фрагментируются неудобно (2026-11-15 может быть 4–6 токенов) — отсюда известные слабости LLM в арифметике и посимвольных задачах.
  • Токенизатор — часть модели. Смена токенизатора = другая модель; сравнивать «по токенам» можно только внутри одной модели.

Связь с llama.cpp

  • Токенизатор хранится внутри GGUF в метаданных (tokenizer.*): модель самодостаточна, см. Формат GGUF.
  • Сервер даёт прямой доступ: POST /tokenize и POST /detokenize — удобно для прикидки длины промпта до отправки, см. HTTP API llama-server.
  • Если токенизатор в GGUF повреждён или переопределён неверно, модель выдаёт мусор — диагностика в «Модель не загружается».

Что читать дальше

Контекстное окно → Чат-шаблоны → GGUF.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию