LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Глоссарий / токенизатор

токенизатор g.tokenizer

программа сопоставления текста и последовательности токенов; хранится внутри GGUF

Статья: llm.tokenization — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.