Главная / LLM Handbook / Оценка качества
Оценка качества
Коротко: «качество модели» измеряется, а не ощущается: перплексия для сравнения квантов одной модели, бенчмарки для грубых сравнений разных моделей, домашние «золотые вопросы» для регрессии на своих задачах. Ощущение после смены кванта/флагов — гипотеза, измерение — ответ.
Перплексия
Перплексия — «насколько модель удивлена» эталонным текстом: средняя «неуверенность» следующего токена, экспонента средней кросс-энтропии.
- Ниже — лучше предсказывает именно этот текст.
- Сравнивать корректно только одну и ту же модель на одном и том же корпусе: идеально для «сколько потеряли в квантовании» (до/после) — так работает llama-perplexity.
- Не сравнивает разные модели/токенизаторы и не предсказывает «полезность» в чате.
- KLD-дивергенция — тот же use-case: расхождение распределений кванта с базой.
Бенчмарки
Мультивыборочные тесты (MMLU-подобные), код, математика:
- Дают грубую шкалу между моделями; на локальных маленьких квантах результаты шумные, погрешность запуска может превышать разницу между квантами.
- Известная проблема — загрязнение (тесты утекли в обучающие данные): цифра перестаёт быть честной.
- Не моделируйте «сдачу экзамена» как цель: бенчмарк ≠ ваша задача.
Домашняя практика (главное для этого справочника)
- Золотой набор — 10–30 ваших реальных промптов с ожидаемыми свойствами ответа (факты, формат, язык). Прогон до/после каждого изменения (квант, флаги, версия llama.cpp, RoPE-эксперименты).
- Перплексия на своём корпусе — объективная цифра деградации кванта (практика).
- llama-bench — скорость pp/tg (это качество другого рода, но меняется вместе с квантом).
- Дифф-подход: seed фиксирован (p.seed), меняете одну настройку, смотрите расхождение ответов.
Связь с llama.cpp
- Инструменты:
llama-perplexity(ppl/KLD),llama-bench(скорость) — Бенчмарки llama.cpp. - «Модель поглупела» после квантования/флагов — маршрут diag-quality.
Что читать дальше
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.