токен g.token
минимальная единица текста для модели: фрагмент слова, слово или символ; модель видит только токены
Статья: llm.tokenization — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.