Главная / llama.cpp Handbook / Плохое качество после квантования
Плохое качество после квантования
Коротко: «поглупела» бывает трёх родов: деградация от кванта (плавная, на сложных задачах), мусор/повторы (сэмплеры или шаблон), битый файл (тотально). Сначала классифицируйте — потом чините.
Классификация симптомов
| ID | Как выглядит | Вероятный виновник | Идти в |
|---|---|---|---|
err.quality-drop |
связно, но факты/код хуже; сложные задачи не тянет | слишком агрессивный квант, без imatrix | эта статья, § Квант |
err.garbage |
бессвязный поток, повторы, ломаный язык | сэмплеры (temp/фильтры) или чат-шаблон | sampler-flags, chat-templates |
| тотальный бред/краши | всё, включая простое, сломано | файл/сборка | diag-load, --check-tensors |
Квант: проверить и поднять
- Перплексия до/после на фиксированном корпусе:
Разница > ~1–2% у 4-бит K-кванта — подозрительно (методика).llama-perplexity -m base-f16.gguf -f wiki.test.raw llama-perplexity -m quant-Q4.gguf -f wiki.test.raw - Имматрикс: если IQ2/IQ3/IQ4_XS сделаны без
--imatrix— пересделайте с калибровкой на текстах своего домена (llama-quantize). - Шаг вверх по таблице: Q4_K_M → Q5_K_M / Q6_K; или «гибрид»:
--leave-output-tensor,--output-tensor-type q5_k(quant-types). - Не requantize: квантование уже квантованного (
--allow-requantize) теряет качество — всегда из f16/bf16 исходника. - Квантование KV-кэша (
-ctk/-ctvниже q8_0) тоже деградирует память на длинных цитатах — верните f16 и сравните (KV-кэш). - Модель маленькая (≤3B) или MoE — к 2–3 битам чувствительнее; этим моделям нужен минимальный K-квант/IQ с imatrix.
Мусор/повторы: сэмплеры и шаблон
- Контрольный прогон на детерминизме:
--temp 0 -s 42— если и так мусор, это не сэмплирование → шаблон/файл/квант. - Сэмплирование: экстремальные
--tempбез фильтров, экзотика (XTC/DRY/adaptive) с нестандартными значениями — верните дефолты v1.0.0 и меняйте по одному (сэмплирование). - Повторы: включите DRY (
--dry-multiplier 0.8) вместо жёсткого repeat-penalty — sampler-flags. - Шаблон: «продолжает текст»/«думает вслух» — chat-templates; reasoning-флаги для think-моделей.
Золотые вопросы вместо ощущений
Соберите 10–30 своих промптов и прогоняйте до/после каждого изменения с фиксированным seed — иначе «поглупела» неотличимо от «плохой день» (оценка). Карта симптомов — troubleshooting.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.