LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Плохое качество после квантования

Плохое качество после квантования

Коротко: «поглупела» бывает трёх родов: деградация от кванта (плавная, на сложных задачах), мусор/повторы (сэмплеры или шаблон), битый файл (тотально). Сначала классифицируйте — потом чините.

Классификация симптомов

ID Как выглядит Вероятный виновник Идти в
err.quality-drop связно, но факты/код хуже; сложные задачи не тянет слишком агрессивный квант, без imatrix эта статья, § Квант
err.garbage бессвязный поток, повторы, ломаный язык сэмплеры (temp/фильтры) или чат-шаблон sampler-flags, chat-templates
тотальный бред/краши всё, включая простое, сломано файл/сборка diag-load, --check-tensors

Квант: проверить и поднять

  1. Перплексия до/после на фиксированном корпусе:
    llama-perplexity -m base-f16.gguf -f wiki.test.raw
    llama-perplexity -m quant-Q4.gguf -f wiki.test.raw
    
    Разница > ~1–2% у 4-бит K-кванта — подозрительно (методика).
  2. Имматрикс: если IQ2/IQ3/IQ4_XS сделаны без --imatrix — пересделайте с калибровкой на текстах своего домена (llama-quantize).
  3. Шаг вверх по таблице: Q4_K_M → Q5_K_M / Q6_K; или «гибрид»: --leave-output-tensor, --output-tensor-type q5_k (quant-types).
  4. Не requantize: квантование уже квантованного (--allow-requantize) теряет качество — всегда из f16/bf16 исходника.
  5. Квантование KV-кэша (-ctk/-ctv ниже q8_0) тоже деградирует память на длинных цитатах — верните f16 и сравните (KV-кэш).
  6. Модель маленькая (≤3B) или MoE — к 2–3 битам чувствительнее; этим моделям нужен минимальный K-квант/IQ с imatrix.

Мусор/повторы: сэмплеры и шаблон

  1. Контрольный прогон на детерминизме: --temp 0 -s 42 — если и так мусор, это не сэмплирование → шаблон/файл/квант.
  2. Сэмплирование: экстремальные --temp без фильтров, экзотика (XTC/DRY/adaptive) с нестандартными значениями — верните дефолты v1.0.0 и меняйте по одному (сэмплирование).
  3. Повторы: включите DRY (--dry-multiplier 0.8) вместо жёсткого repeat-penalty — sampler-flags.
  4. Шаблон: «продолжает текст»/«думает вслух» — chat-templates; reasoning-флаги для think-моделей.

Золотые вопросы вместо ощущений

Соберите 10–30 своих промптов и прогоняйте до/после каждого изменения с фиксированным seed — иначе «поглупела» неотличимо от «плохой день» (оценка). Карта симптомов — troubleshooting.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию