квантование g.quantization
хранение весов в меньшей точности (int4/int8), чтобы модель стала меньше и быстрее
Статья: llm.quantization — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.