LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / llama-bench: замер производительности

llama-bench: замер производительности

Коротко: llama-bench измеряет две скорости — pp (префилл, токенов/с) и tg (декод, токенов/с) — и умеет строить сравнительные таблицы по любым комбинациям флагов. Это «линейка» справочника: любое сравнение (квант, бэкенд, оффлоад) прогоняется здесь.

Что показывают pp и tg

Метрика Фаза Узкое место Куда смотрят
pp (prompt processing) обработка промпта вычисления ускорение: -ub, -fa, GPU, BLAS
tg (text generation) генерация по токену память (бандвич VRAM/RAM) ускорение: квант, -ngl, -ctk/-ctv

Понимание фаз — Инференс.

Базовое использование

./build/bin/llama-bench -m model-Q4_K_M.gguf

Вывод — таблица: конфигурация (flags), средние pp/tg с разбросом. Замеры повторяются и усредняются (число повторов — параметр; шум показан в выводе).

Сравнение вариантов: несколько моделей и конфигураций

# кванты одной модели
./build/bin/llama-bench -m q4.gguf -m q5.gguf -m q6.gguf

# оффлоад: все слои vs половина vs CPU
./build/bin/llama-bench -m model.gguf -ngl all -ngl 16 -ngl 0

# FlashAttention on/off + размер ubatch
./build/bin/llama-bench -m model.gguf -fa on -fa off -fa on,off -ub 512,1024

# несколько GPU против одного
./build/bin/llama-bench -m model.gguf -ts 3/1 -ts 1/0

Каждое значение-список порождает строки таблицы — всё сравнивается в одном прогоне (одинаковые условия, меньше шума).

Методика честного замера

  1. Одна переменная: сравнивайте пары (одно изменение), не десятки.
  2. Одинаковые длина промпта/генерации (-p/-n) — фиксируйте. Контекст llama-bench не настраивает (флага -c у bench нет — берётся дефолт модели).
  3. Прогрев: первый запуск медленнее (аллокации/кэши) — bench делает это сам, но между промерами не меняйте окружение.
  4. Стабильность: закройте браузеры/индексаторы; на ноутбуке — питание от сети, режим «производительность».
  5. Повторы: разброс в выводе > 5–10% — оборудование шумит, перезапустите.
  6. Фиксируйте условия: версия llama.cpp (v1.0.0), сборка/бэкенд, ОС, драйверы — в заметки рядом с числами (протокол справочника).

Примеры интерпретации

  • tg растёт с уменьшением кванта — но немонотонно (Q6_K может быть медленнее Q4_K на CPU): таблица измерений v1.0.0 в quant-types.
  • pp вырос после -fa on → FA помогает и на префилле.
  • tg не изменился после -ngl 16→all → узкое место не GPU-память, а что-то ещё — diag-slow.

Связь с качеством

Скорость без качества бессмысленна: вместе с bench прогоняйте перплексию — diag-quality.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию