LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Квантование: llama-quantize

Квантование: llama-quantize

Коротко: квантование — два шага: (1) модель в GGUF f16/bf16 (конвертация), (2) llama-quantize в выбранный тип квантования. Для 3–4-битных I-квантов почти обязателен imatrix — файл важностей с калибровочных данных.

Базовая команда

./build/bin/llama-quantize model-bf16.gguf model-Q4_K_M.gguf Q4_K_M

Синтаксис: llama-quantize <вход-f16> <выход> <тип> [nthreads]. Размеры по факту (v1.0.0 README, Llama-3.1-8B): f16 14,96 GiB → Q4_K_M 4,58 GiB → Q8_0 7,95 GiB.

Опции

Опция Смысл
--imatrix файл использовать importance matrix для оптимизации кванта
--include-weights имя / --exclude-weights имя imatrix для выбранных тензоров (или для остальных); нельзя вместе
--pure отключить K-смеси: все тензоры одним типом
--leave-output-tensor не квантовать output.weight (размер больше, качество выше — особенно при requantize)
--allow-requantize разрешить квантование уже квантованного файла (теряете качество — избегайте)
--output-tensor-type T / --token-embedding-type T тип для output.weight / embeddings
--tensor-type "паттерн=T" типы по regex на имя тензора (можно многократно)
--keep-split сохранить шардирование входного файла
--prune-layers 20,21,22 вырезать слои (крайняя мера под память)
--override-kv KEY=TYPE:VALUE правка метаданных результата

Примеры (полный список — tools/quantize/README.md):

# imatrix только для attn_v и ffn_down
llama-quantize --imatrix imatrix.gguf --include-weights attn_v --include-weights ffn_down in.gguf out.gguf Q4_K_M

# точечные типы: output → Q5_K, embeddings → Q3_K
llama-quantize --imatrix imatrix.gguf --output-tensor-type q5_k --token-embedding-type q3_k in.gguf out.gguf Q4_K_M

Importance matrix

# калибровка на текстах, близких к вашим задачам (русский чат → русский корпус!)
./build/bin/llama-imatrix -m model-bf16.gguf -f corpus.txt -o imatrix.gguf
# затем
llama-quantize --imatrix imatrix.gguf in.gguf out.gguf IQ4_XS
  • imatrix — статистика активаций (концепт): ошибка квантования взвешивается по важности весов.
  • Обязательна для IQ2/IQ3/IQ4_XS; полезна и для K-квантов.
  • Корпус: несколько МБ текста вашего домена; чужой imatrix лучше, чем ничего, но свой — лучше чужого.

После квантования — проверить

  1. Размер фактического файла против ожиданий (таблица).
  2. Качество: перплексия до/после на фиксированном корпусе — llama-perplexity -m out.gguf -f wiki.test.raw (методика — diag-quality, перплексия).
  3. Скорость: llama-bench старого и нового файла — Бенчмарки.
  4. Золотые вопросы вашей задачи — см. Оценка качества.

Готовые кванты вместо ручной работы

HF-спейс GGUF-my-repo делает конвертацию+квантование в облаке (синк от main каждые 6 часов) — если не хочется локального пайплайна (tools/quantize/README.md).

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию