LLM-GUIDELLM × llama.cpp Конфигуратор …

BPE g.bpe

Byte-Pair Encoding: частые пары символов склеиваются в токены, пока не наберётся словарь заданного размера

Статья: llm.tokenization — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.