LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Глоссарий / квантование

квантование g.quantization

хранение весов в меньшей точности (int4/int8), чтобы модель стала меньше и быстрее

Статья: llm.quantization — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.