Главная / llama.cpp Handbook / llama-bench: замер производительности
llama-bench: замер производительности
Коротко:
llama-benchизмеряет две скорости — pp (префилл, токенов/с) и tg (декод, токенов/с) — и умеет строить сравнительные таблицы по любым комбинациям флагов. Это «линейка» справочника: любое сравнение (квант, бэкенд, оффлоад) прогоняется здесь.
Что показывают pp и tg
| Метрика | Фаза | Узкое место | Куда смотрят |
|---|---|---|---|
| pp (prompt processing) | обработка промпта | вычисления | ускорение: -ub, -fa, GPU, BLAS |
| tg (text generation) | генерация по токену | память (бандвич VRAM/RAM) | ускорение: квант, -ngl, -ctk/-ctv |
Понимание фаз — Инференс.
Базовое использование
./build/bin/llama-bench -m model-Q4_K_M.gguf
Вывод — таблица: конфигурация (flags), средние pp/tg с разбросом. Замеры повторяются и усредняются (число повторов — параметр; шум показан в выводе).
Сравнение вариантов: несколько моделей и конфигураций
# кванты одной модели
./build/bin/llama-bench -m q4.gguf -m q5.gguf -m q6.gguf
# оффлоад: все слои vs половина vs CPU
./build/bin/llama-bench -m model.gguf -ngl all -ngl 16 -ngl 0
# FlashAttention on/off + размер ubatch
./build/bin/llama-bench -m model.gguf -fa on -fa off -fa on,off -ub 512,1024
# несколько GPU против одного
./build/bin/llama-bench -m model.gguf -ts 3/1 -ts 1/0
Каждое значение-список порождает строки таблицы — всё сравнивается в одном прогоне (одинаковые условия, меньше шума).
Методика честного замера
- Одна переменная: сравнивайте пары (одно изменение), не десятки.
- Одинаковые длина промпта/генерации (
-p/-n) — фиксируйте. Контекст llama-bench не настраивает (флага-cу bench нет — берётся дефолт модели). - Прогрев: первый запуск медленнее (аллокации/кэши) — bench делает это сам, но между промерами не меняйте окружение.
- Стабильность: закройте браузеры/индексаторы; на ноутбуке — питание от сети, режим «производительность».
- Повторы: разброс в выводе > 5–10% — оборудование шумит, перезапустите.
- Фиксируйте условия: версия llama.cpp (v1.0.0), сборка/бэкенд, ОС, драйверы — в заметки рядом с числами (протокол справочника).
Примеры интерпретации
- tg растёт с уменьшением кванта — но немонотонно (Q6_K может быть медленнее Q4_K на CPU): таблица измерений v1.0.0 в quant-types.
- pp вырос после
-fa on→ FA помогает и на префилле. - tg не изменился после
-ngl 16→all→ узкое место не GPU-память, а что-то ещё — diag-slow.
Связь с качеством
Скорость без качества бессмысленна: вместе с bench прогоняйте перплексию — diag-quality.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.