LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Типы квантования GGUF

Типы квантования GGUF

Коротко: тип квантования — схема хранения весов; выбор = баланс размер / скорость / качество. Рабочий дефолт большинства задач — Q4_K_M; выше — Q5_K_M/Q6_K, ниже — IQ-кванты с imatrix. Значения ниже измерены для Llama-3.1-8B на v1.0.0 (tools/quantize/README.md); у других моделей bpw почти идентичен, скорости — нет.

Семейства

Семейство Что это Когда
Legacy (Q4_0, Q4_1, Q5_0, Q5_1, Q8_0) блок ~32 веса + масштаб простота/совместимость; сегодня обычно лучше K-аналог
K-кванты (Q2_K…Q6_K, варианты S/M/L) суперблоки, смеси типов тензоров основной выбор (Q4_K_M — дефолт)
I-кванты (IQ1…IQ4, варианты XXS…M) нелинейные кодовые книги экстремальное сжатие; почти всегда с imatrix

Измеренная таблица (Llama-3.1-8B, v1.0.0)

Только ключевые точки; полная таблица (pp/tg для всех типов) — tools/quantize/README.md и quants.yaml.

Тип bpw Размер, GiB tg, t/s* Комментарий
F16 16,0 14,96 29,2 эталон качества
Q8_0 8,5 7,95 50,9 почти без потерь
Q6_K 6,56 6,14 58,7 практически неотличим
Q5_K_M 5,70 5,33 67,2 отличный баланс
Q4_K_M 4,89 4,58 71,9 дефолтный выбор
Q4_K_S 4,67 4,36 76,7 минимальная потеря против M
IQ4_XS 4,46 4,17 77,5 компактнее, нужен imatrix
Q3_K_M 4,00 3,74 71,7 заметные потери — проверять
IQ3_M 3,76 3,52 70,2 лучший 3-битный (imatrix)
Q2_K 3,16 2,95 79,9 сильная деградация
IQ2_M 2,93 2,74 74,4 экстремальное сжатие (imatrix)

* tg на CPU-сборке v1.0.0, конкретное железо; не переносите цифры на свою машину — смотрите порядок и соотношения. Отметьте немонотонность: Q6_K/Q8_0 медленнее Q4_K_M на CPU (декод дороже), при том что байт меньше не у всех.

Рекомендации по сценариям

Цель Выбор
максимум качества, память не жмёт Q6_K или Q8_0
универсальный дефолт Q4_K_M
впритык по памяти, сохранить качество IQ4_XS / Q4_K_S + свой imatrix
маленькая видеокарта, большая модель IQ3_M/IQ3_XS (imatrix обязателен)
«хоть как-то» IQ2_* — осознанно жертвуете качеством

Связь с качеством

  • 4–5 бит K-квантов: потери обычно малы; проверяйте перплексией и золотыми вопросами (Оценка → diag-quality).
  • 2–3 бита: деградация зависит от модели и imatrix; мелкие модели (≤3B) ломаются раньше.
  • --leave-output-tensor и точечные типы (--output-tensor-type) — способы поднять качество без роста всего файла — llama-quantize.
  • KV-кэш — отдельная ось квантования на старте (-ctk/-ctv), не в файле: KV-кэш.

Практика

Сквозной сценарий выбора и проверки — «Квантуем модель под своё железо».

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию