токенизатор g.tokenizer
программа сопоставления текста и последовательности токенов; хранится внутри GGUF
Статья: llm.tokenization — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.
g.tokenizerпрограмма сопоставления текста и последовательности токенов; хранится внутри GGUF