LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Глоссарий / тип квантования

тип квантования g.quant-type

именованная схема GGUF (Q4_0, Q4_K_M, Q8_0, IQ…): баланс размер/скорость/качество

Статья: lcp.quant-types — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.