словарь (vocabulary) g.vocab
полный список токенов модели; размер определяет размер embedding-слоя
Статья: llm.tokenization — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.
g.vocabполный список токенов модели; размер определяет размер embedding-слоя