LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Туториалы / Квантуем модель под своё железо

Квантуем модель под своё железо

Путь: бюджет памяти → выбор кандидатов → (imatrix) → квантование → проверка скорости и качества → выбор. ~1 час (большая часть — вычисления).

Шаг 0. Исходник — GGUF f16/bf16

Есть готовый GGUF сообщества? Скачайте и пропустите к шагу 2 (свой квант имеет смысл со своим imatrix — зачем). Иначе:

pip install -r requirements.txt
python convert_hf_to_gguf.py --outfile model-bf16.gguf --outtype bf16 --remote user/model

(детали конвертации)

Шаг 1. Бюджет памяти

Целевой размер файла ≈ параметры × bpw / 8. Таблица bpw — quant-types (данные). Пример: 14B модель, VRAM 12 ГиБ, запас под KV-кэш/буферы ≈ 2,5 ГиБ → бюджет весов ≈ 9,5 ГиБ → bpw ≤ 5,4 → кандидаты Q5_K_S (5,57)*, Q4_K_M (4,89), IQ4_XS (4,46).

* на границе — проверьте фактический размер после квантования.

Шаг 2. imatrix (калибровка) — свой корпус

# корпус: 5–10 МБ текстов вашего домена (для русскоязычного чата — русские тексты)
./build/bin/llama-imatrix -m model-bf16.gguf -f corpus.txt -o imatrix.gguf

(детали)

Шаг 3. Квантование кандидатов

./build/bin/llama-quantize --imatrix imatrix.gguf model-bf16.gguf model-Q4_K_M.gguf Q4_K_M
./build/bin/llama-quantize --imatrix imatrix.gguf model-bf16.gguf model-IQ4_XS.gguf IQ4_XS

Правило: всегда из f16/bf16, не requantize (почему).

Шаг 4. Скорость

./build/bin/llama-bench -m model-Q4_K_M.gguf -m model-IQ4_XS.gguf

Смотрите tg (что это); немонотонность по bpw — нормальна (таблица).

Шаг 5. Качество

./build/bin/llama-perplexity -m model-bf16.gguf  -f wiki.test.raw   # база
./build/bin/llama-perplexity -m model-Q4_K_M.gguf -f wiki.test.raw
./build/bin/llama-perplexity -m model-IQ4_XS.gguf -f wiki.test.raw
  • золотые вопросы вашей задачи до/после (методика). Критерий — эмпирический ориентир, не гарантия: у калиброванного 4-битного K-кванта деградация ppl обычно в пределах ~1–2%; заметно хуже — вернитесь к шагу 2 или поднимите тип (diag-quality).

Шаг 6. Запуск и финальная проверка

llama-server -m model-Q4_K_M.gguf -c 16384 -ngl all -fa auto

Убедитесь: влезает в VRAM с запасом (бюджет), t/s соответствуют замерам. KV-кэш — отдельная настройка -ctk/-ctv, не часть файла (KV-кэш).

Итог-чеклист

  • фактический размер файла = ожиданиям по bpw;
  • ppl-дельта приемлема; золотые вопросы не сломались;
  • tg/pp замерены и записаны (версия llama.cpp зафиксирована!);
  • выбран постоянный тип; квантование воспроизводимо (корпус imatrix в git-lfs/доке).

Что произошло на шагах 3–5 концептуально — Квантование и Оценка качества.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию