LLM-GUIDELLM × llama.cpp Конфигуратор …

токен g.token

минимальная единица текста для модели: фрагмент слова, слово или символ; модель видит только токены

Статья: llm.tokenization — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.