LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Медленная генерация или префилл

Медленная генерация или префилл

Коротко: сначала определите, что медленно — генерация (tg) или обработка промпта (pp): причины почти не пересекаются. Затем проверьте, реально ли вычисления идут там, где вы думаете.

Разделение симптомов

ID Симптом Фаза Метрика
err.slow-gen ответ «печатается» медленно декод tg
err.slow-pp первый токен ждётся долго префилл pp

Замер: llama-bench -m model.gguf — свои pp/tg против ожиданий (методика).

tg низкий — чек-лист

  1. Слои не на GPU? В логе нет offloaded … layers/GPU-устройств → нет бэкенда в сборке или -ngl 0 — Бэкенды, gpu-offload.
  2. VRAM кончилась → своп? Часть весов уехала в RAM: бюджет в gpu-offload; nvidia-smi покажет «занято почти всё».
  3. Квант тяжёлый для tg: Q6_K/Q8_0 медленнее Q4_K на CPU (немонотонность — таблица); попробуйте Q4_K_M.
  4. KV-кэш огромный: -c 64k+ на f16 — гигабайты чтения каждый шаг; -ctk/-ctv q8_0 с -fa — KV-кэш.
  5. Потоки CPU (если CPU участвует): -t = физическим ядрам, гипертрединг выключить в наборе; NUMA-флаги — perf-tuning.
  6. Термалы/питание: GPU сбрасывает частоты (nvidia-smi: clocks/throttle), ноутбук на батарее.
  7. Другой процесс занял VRAM/каналы — nvidia-smi, диспетчер задач.

pp низкий — чек-лист

  1. -fa выключен? -fa auto должен включать; проверьте лог — FA даёт сильный прирост префилла (attention).
  2. -ub мал: 512 → 1024/2048 (память буферов растёт!) — батчинг.
  3. -tb: на гибридных системах потоки префилла отдельно (-tb N).
  4. BLAS (CPU-only): -DGGML_BLAS=ON ускоряет pp при -b > 32 — бэкенды.
  5. Общий префикс не кэшируется: на сервере --cache-prompt (дефолт on) и повторный системный промпт считаются каждый раз при несовпадении — batching-flags.
  6. Очень длинный промпт по сети (при --server-base у CLI) — считайте локально.

Скорость ≠ качество

Слишком агрессивные меры (квант IQ2, обрезка слоёв --prune-layers) «ускорят» ценой деградации — проверяйте качество.

Что дальше

Скорость нормальна, но результат разочаровал → diag-quality; влезание в память — diag-oom. Карта — troubleshooting.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию