Квантуем модель под своё железо
Путь: бюджет памяти → выбор кандидатов → (imatrix) → квантование → проверка скорости и качества → выбор. ~1 час (большая часть — вычисления).
Шаг 0. Исходник — GGUF f16/bf16
Есть готовый GGUF сообщества? Скачайте и пропустите к шагу 2 (свой квант имеет смысл со своим imatrix — зачем). Иначе:
pip install -r requirements.txt
python convert_hf_to_gguf.py --outfile model-bf16.gguf --outtype bf16 --remote user/model
Шаг 1. Бюджет памяти
Целевой размер файла ≈ параметры × bpw / 8. Таблица bpw — quant-types (данные). Пример: 14B модель, VRAM 12 ГиБ, запас под KV-кэш/буферы ≈ 2,5 ГиБ → бюджет весов ≈ 9,5 ГиБ → bpw ≤ 5,4 → кандидаты Q5_K_S (5,57)*, Q4_K_M (4,89), IQ4_XS (4,46).
* на границе — проверьте фактический размер после квантования.
Шаг 2. imatrix (калибровка) — свой корпус
# корпус: 5–10 МБ текстов вашего домена (для русскоязычного чата — русские тексты)
./build/bin/llama-imatrix -m model-bf16.gguf -f corpus.txt -o imatrix.gguf
(детали)
Шаг 3. Квантование кандидатов
./build/bin/llama-quantize --imatrix imatrix.gguf model-bf16.gguf model-Q4_K_M.gguf Q4_K_M
./build/bin/llama-quantize --imatrix imatrix.gguf model-bf16.gguf model-IQ4_XS.gguf IQ4_XS
Правило: всегда из f16/bf16, не requantize (почему).
Шаг 4. Скорость
./build/bin/llama-bench -m model-Q4_K_M.gguf -m model-IQ4_XS.gguf
Смотрите tg (что это); немонотонность по bpw — нормальна (таблица).
Шаг 5. Качество
./build/bin/llama-perplexity -m model-bf16.gguf -f wiki.test.raw # база
./build/bin/llama-perplexity -m model-Q4_K_M.gguf -f wiki.test.raw
./build/bin/llama-perplexity -m model-IQ4_XS.gguf -f wiki.test.raw
- золотые вопросы вашей задачи до/после (методика). Критерий — эмпирический ориентир, не гарантия: у калиброванного 4-битного K-кванта деградация ppl обычно в пределах ~1–2%; заметно хуже — вернитесь к шагу 2 или поднимите тип (diag-quality).
Шаг 6. Запуск и финальная проверка
llama-server -m model-Q4_K_M.gguf -c 16384 -ngl all -fa auto
Убедитесь: влезает в VRAM с запасом (бюджет), t/s
соответствуют замерам. KV-кэш — отдельная настройка -ctk/-ctv, не часть файла
(KV-кэш).
Итог-чеклист
- фактический размер файла = ожиданиям по bpw;
- ppl-дельта приемлема; золотые вопросы не сломались;
- tg/pp замерены и записаны (версия llama.cpp зафиксирована!);
- выбран постоянный тип; квантование воспроизводимо (корпус imatrix в git-lfs/доке).
Что произошло на шагах 3–5 концептуально — Квантование и Оценка качества.