Главная / llama.cpp Handbook / Квантование: llama-quantize
Квантование: llama-quantize
Коротко: квантование — два шага: (1) модель в GGUF f16/bf16 (конвертация), (2)
llama-quantizeв выбранный тип квантования. Для 3–4-битных I-квантов почти обязателен imatrix — файл важностей с калибровочных данных.
Базовая команда
./build/bin/llama-quantize model-bf16.gguf model-Q4_K_M.gguf Q4_K_M
Синтаксис: llama-quantize <вход-f16> <выход> <тип> [nthreads]. Размеры по факту
(v1.0.0 README, Llama-3.1-8B): f16 14,96 GiB → Q4_K_M 4,58 GiB → Q8_0 7,95 GiB.
Опции
| Опция | Смысл |
|---|---|
--imatrix файл |
использовать importance matrix для оптимизации кванта |
--include-weights имя / --exclude-weights имя |
imatrix для выбранных тензоров (или для остальных); нельзя вместе |
--pure |
отключить K-смеси: все тензоры одним типом |
--leave-output-tensor |
не квантовать output.weight (размер больше, качество выше — особенно при requantize) |
--allow-requantize |
разрешить квантование уже квантованного файла (теряете качество — избегайте) |
--output-tensor-type T / --token-embedding-type T |
тип для output.weight / embeddings |
--tensor-type "паттерн=T" |
типы по regex на имя тензора (можно многократно) |
--keep-split |
сохранить шардирование входного файла |
--prune-layers 20,21,22 |
вырезать слои (крайняя мера под память) |
--override-kv KEY=TYPE:VALUE |
правка метаданных результата |
Примеры (полный список — tools/quantize/README.md):
# imatrix только для attn_v и ffn_down
llama-quantize --imatrix imatrix.gguf --include-weights attn_v --include-weights ffn_down in.gguf out.gguf Q4_K_M
# точечные типы: output → Q5_K, embeddings → Q3_K
llama-quantize --imatrix imatrix.gguf --output-tensor-type q5_k --token-embedding-type q3_k in.gguf out.gguf Q4_K_M
Importance matrix
# калибровка на текстах, близких к вашим задачам (русский чат → русский корпус!)
./build/bin/llama-imatrix -m model-bf16.gguf -f corpus.txt -o imatrix.gguf
# затем
llama-quantize --imatrix imatrix.gguf in.gguf out.gguf IQ4_XS
- imatrix — статистика активаций (концепт): ошибка квантования взвешивается по важности весов.
- Обязательна для IQ2/IQ3/IQ4_XS; полезна и для K-квантов.
- Корпус: несколько МБ текста вашего домена; чужой imatrix лучше, чем ничего, но свой — лучше чужого.
После квантования — проверить
- Размер фактического файла против ожиданий (таблица).
- Качество: перплексия до/после на фиксированном корпусе —
llama-perplexity -m out.gguf -f wiki.test.raw(методика — diag-quality, перплексия). - Скорость:
llama-benchстарого и нового файла — Бенчмарки. - Золотые вопросы вашей задачи — см. Оценка качества.
Готовые кванты вместо ручной работы
HF-спейс GGUF-my-repo делает конвертацию+квантование в облаке (синк от main каждые
6 часов) — если не хочется локального пайплайна (tools/quantize/README.md).
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.