LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Глоссарий / словарь (vocabulary)

словарь (vocabulary) g.vocab

полный список токенов модели; размер определяет размер embedding-слоя

Статья: llm.tokenization — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.