Главная / llama.cpp Handbook / Типы квантования GGUF
Типы квантования GGUF
Коротко: тип квантования — схема хранения весов; выбор = баланс размер / скорость / качество. Рабочий дефолт большинства задач — Q4_K_M; выше — Q5_K_M/Q6_K, ниже — IQ-кванты с imatrix. Значения ниже измерены для Llama-3.1-8B на v1.0.0 (
tools/quantize/README.md); у других моделей bpw почти идентичен, скорости — нет.
Семейства
| Семейство | Что это | Когда |
|---|---|---|
| Legacy (Q4_0, Q4_1, Q5_0, Q5_1, Q8_0) | блок ~32 веса + масштаб | простота/совместимость; сегодня обычно лучше K-аналог |
| K-кванты (Q2_K…Q6_K, варианты S/M/L) | суперблоки, смеси типов тензоров | основной выбор (Q4_K_M — дефолт) |
| I-кванты (IQ1…IQ4, варианты XXS…M) | нелинейные кодовые книги | экстремальное сжатие; почти всегда с imatrix |
Измеренная таблица (Llama-3.1-8B, v1.0.0)
Только ключевые точки; полная таблица (pp/tg для всех типов) —
tools/quantize/README.md и quants.yaml.
| Тип | bpw | Размер, GiB | tg, t/s* | Комментарий |
|---|---|---|---|---|
| F16 | 16,0 | 14,96 | 29,2 | эталон качества |
| Q8_0 | 8,5 | 7,95 | 50,9 | почти без потерь |
| Q6_K | 6,56 | 6,14 | 58,7 | практически неотличим |
| Q5_K_M | 5,70 | 5,33 | 67,2 | отличный баланс |
| Q4_K_M | 4,89 | 4,58 | 71,9 | дефолтный выбор |
| Q4_K_S | 4,67 | 4,36 | 76,7 | минимальная потеря против M |
| IQ4_XS | 4,46 | 4,17 | 77,5 | компактнее, нужен imatrix |
| Q3_K_M | 4,00 | 3,74 | 71,7 | заметные потери — проверять |
| IQ3_M | 3,76 | 3,52 | 70,2 | лучший 3-битный (imatrix) |
| Q2_K | 3,16 | 2,95 | 79,9 | сильная деградация |
| IQ2_M | 2,93 | 2,74 | 74,4 | экстремальное сжатие (imatrix) |
* tg на CPU-сборке v1.0.0, конкретное железо; не переносите цифры на свою машину — смотрите порядок и соотношения. Отметьте немонотонность: Q6_K/Q8_0 медленнее Q4_K_M на CPU (декод дороже), при том что байт меньше не у всех.
Рекомендации по сценариям
| Цель | Выбор |
|---|---|
| максимум качества, память не жмёт | Q6_K или Q8_0 |
| универсальный дефолт | Q4_K_M |
| впритык по памяти, сохранить качество | IQ4_XS / Q4_K_S + свой imatrix |
| маленькая видеокарта, большая модель | IQ3_M/IQ3_XS (imatrix обязателен) |
| «хоть как-то» | IQ2_* — осознанно жертвуете качеством |
Связь с качеством
- 4–5 бит K-квантов: потери обычно малы; проверяйте перплексией и золотыми вопросами (Оценка → diag-quality).
- 2–3 бита: деградация зависит от модели и imatrix; мелкие модели (≤3B) ломаются раньше.
--leave-output-tensorи точечные типы (--output-tensor-type) — способы поднять качество без роста всего файла — llama-quantize.- KV-кэш — отдельная ось квантования на старте (
-ctk/-ctv), не в файле: KV-кэш.
Практика
Сквозной сценарий выбора и проверки — «Квантуем модель под своё железо».
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.