LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Квантование

Квантование

Коротко: квантование хранит веса модели в меньшей точности (обычно 4–8 бит вместо 16). Модель уменьшается в 2–4 раза и быстрее на инференсе; потери качества при 4 битах с хорошей схемой — малы, при 2 битах — велики.

Идея

Веса обучаются в fp32 и обычно распространяются в fp16/bf16 (2 байта на вес). Но для инференса точность хранения можно снизить: 8 бит (int8) — почти без потерь, 4 бита — с небольшой, 2 бита — с заметной. Модель «8B» в 4 бита ≈ 4,6 ГиБ вместо ≈15 ГиБ (f16) — это разница между «влезает в видеокарту» и «нет».

Как хранят 4 бита

Простое округление каждого веса ломается о выбросы масштаба, поэтому используются поблочные схемы (у llama.cpp — семейства типов квантования):

  • Legacy (Q4_0/Q4_1/Q8_0…): блок ~32 веса + общий масштаб на блок. Просто и быстро.
  • K-кванты: двухуровневая структура (суперблоки 256 весов, масштабы малых блоков), разные схемы для разных тензоров модели. Лучшее соотношение качество/размер — «рабочая лошадка» Q4_K_M.
  • I-кванты (IQ1…IQ4): нелинейные кодовые книги — вектор веса заменяется ближайшим из выученной таблицы. Прижимаются к 2–3 битам, почти всегда требуют imatrix.

imatrix (importance matrix) — статистика активаций на калибровочном тексте: ошибки квантования взвешиваются по важности весов для реальных активаций, а не по их величине. Разница между «квант без imatrix» и «с imatrix» на 3–4 битах бывает резкой (см. Квантование: llama-quantize).

Что теряется и как это увидеть

  • Ошибки квантования — шум в весах. На 4–5 битах обычно теряются «тонкие» навыки (точные факты, редкие языки, сложный код) раньше связности.
  • Деградация не равномерна по моделям: плотные модели, MoE и малые (≤3B) ломаются раньше.
  • Проверяется измерением: перплексия на фиксированном корпусе до/после (llama-perplexity) + золотые вопросы. Маршрут — diag-quality.

Размер ↔ скорость

  • Меньше байт на вес → декод (лимитирован памятью) быстрее: размер = скорость для memory-bound сценариев.
  • Но не монотонно: экзотические схемы декодируются дороже; Q6_K может быть медленнее Q4_K на CPU — см. измеренную таблицу в Типах квантования.

Что не квантует llama.cpp

  • KV-кэш — отдельная настройка на старте (не в файле): -ctk/-ctv, см. KV-кэш.
  • Модели с обученным квантованием (QAT, напр. Gemma 3 QAT) — уже квантованы авторами.

Связь с llama.cpp

Что читать дальше

Оценка качества → diag-quality.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию