Квантование
Коротко: квантование хранит веса модели в меньшей точности (обычно 4–8 бит вместо 16). Модель уменьшается в 2–4 раза и быстрее на инференсе; потери качества при 4 битах с хорошей схемой — малы, при 2 битах — велики.
Идея
Веса обучаются в fp32 и обычно распространяются в fp16/bf16 (2 байта на вес). Но для инференса точность хранения можно снизить: 8 бит (int8) — почти без потерь, 4 бита — с небольшой, 2 бита — с заметной. Модель «8B» в 4 бита ≈ 4,6 ГиБ вместо ≈15 ГиБ (f16) — это разница между «влезает в видеокарту» и «нет».
Как хранят 4 бита
Простое округление каждого веса ломается о выбросы масштаба, поэтому используются поблочные схемы (у llama.cpp — семейства типов квантования):
- Legacy (Q4_0/Q4_1/Q8_0…): блок ~32 веса + общий масштаб на блок. Просто и быстро.
- K-кванты: двухуровневая структура (суперблоки 256 весов, масштабы малых блоков), разные схемы для разных тензоров модели. Лучшее соотношение качество/размер — «рабочая лошадка» Q4_K_M.
- I-кванты (IQ1…IQ4): нелинейные кодовые книги — вектор веса заменяется ближайшим из выученной таблицы. Прижимаются к 2–3 битам, почти всегда требуют imatrix.
imatrix (importance matrix) — статистика активаций на калибровочном тексте: ошибки квантования взвешиваются по важности весов для реальных активаций, а не по их величине. Разница между «квант без imatrix» и «с imatrix» на 3–4 битах бывает резкой (см. Квантование: llama-quantize).
Что теряется и как это увидеть
- Ошибки квантования — шум в весах. На 4–5 битах обычно теряются «тонкие» навыки (точные факты, редкие языки, сложный код) раньше связности.
- Деградация не равномерна по моделям: плотные модели, MoE и малые (≤3B) ломаются раньше.
- Проверяется измерением: перплексия на фиксированном корпусе до/после (llama-perplexity) + золотые вопросы. Маршрут — diag-quality.
Размер ↔ скорость
- Меньше байт на вес → декод (лимитирован памятью) быстрее: размер = скорость для memory-bound сценариев.
- Но не монотонно: экзотические схемы декодируются дороже; Q6_K может быть медленнее Q4_K на CPU — см. измеренную таблицу в Типах квантования.
Что не квантует llama.cpp
- KV-кэш — отдельная настройка на старте (не в файле):
-ctk/-ctv, см. KV-кэш. - Модели с обученным квантованием (QAT, напр. Gemma 3 QAT) — уже квантованы авторами.
Связь с llama.cpp
- Практика: Квантование: llama-quantize → Типы квантования.
- Сквозной сценарий: Квантуем модель под своё железо.