LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Оценка качества

Оценка качества

Коротко: «качество модели» измеряется, а не ощущается: перплексия для сравнения квантов одной модели, бенчмарки для грубых сравнений разных моделей, домашние «золотые вопросы» для регрессии на своих задачах. Ощущение после смены кванта/флагов — гипотеза, измерение — ответ.

Перплексия

Перплексия — «насколько модель удивлена» эталонным текстом: средняя «неуверенность» следующего токена, экспонента средней кросс-энтропии.

  • Ниже — лучше предсказывает именно этот текст.
  • Сравнивать корректно только одну и ту же модель на одном и том же корпусе: идеально для «сколько потеряли в квантовании» (до/после) — так работает llama-perplexity.
  • Не сравнивает разные модели/токенизаторы и не предсказывает «полезность» в чате.
  • KLD-дивергенция — тот же use-case: расхождение распределений кванта с базой.

Бенчмарки

Мультивыборочные тесты (MMLU-подобные), код, математика:

  • Дают грубую шкалу между моделями; на локальных маленьких квантах результаты шумные, погрешность запуска может превышать разницу между квантами.
  • Известная проблема — загрязнение (тесты утекли в обучающие данные): цифра перестаёт быть честной.
  • Не моделируйте «сдачу экзамена» как цель: бенчмарк ≠ ваша задача.

Домашняя практика (главное для этого справочника)

  1. Золотой набор — 10–30 ваших реальных промптов с ожидаемыми свойствами ответа (факты, формат, язык). Прогон до/после каждого изменения (квант, флаги, версия llama.cpp, RoPE-эксперименты).
  2. Перплексия на своём корпусе — объективная цифра деградации кванта (практика).
  3. llama-bench — скорость pp/tg (это качество другого рода, но меняется вместе с квантом).
  4. Дифф-подход: seed фиксирован (p.seed), меняете одну настройку, смотрите расхождение ответов.

Связь с llama.cpp

  • Инструменты: llama-perplexity (ppl/KLD), llama-bench (скорость) — Бенчмарки llama.cpp.
  • «Модель поглупела» после квантования/флагов — маршрут diag-quality.

Что читать дальше

Квантование → diag-quality.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию