Главная / llama.cpp Handbook / Медленная генерация или префилл
Медленная генерация или префилл
Коротко: сначала определите, что медленно — генерация (tg) или обработка промпта (pp): причины почти не пересекаются. Затем проверьте, реально ли вычисления идут там, где вы думаете.
Разделение симптомов
| ID | Симптом | Фаза | Метрика |
|---|---|---|---|
err.slow-gen |
ответ «печатается» медленно | декод | tg |
err.slow-pp |
первый токен ждётся долго | префилл | pp |
Замер: llama-bench -m model.gguf — свои pp/tg против ожиданий
(методика).
tg низкий — чек-лист
- Слои не на GPU? В логе нет
offloaded … layers/GPU-устройств → нет бэкенда в сборке или-ngl 0— Бэкенды, gpu-offload. - VRAM кончилась → своп? Часть весов уехала в RAM: бюджет в gpu-offload; nvidia-smi покажет «занято почти всё».
- Квант тяжёлый для tg: Q6_K/Q8_0 медленнее Q4_K на CPU (немонотонность — таблица); попробуйте Q4_K_M.
- KV-кэш огромный:
-c64k+ на f16 — гигабайты чтения каждый шаг;-ctk/-ctv q8_0с-fa— KV-кэш. - Потоки CPU (если CPU участвует):
-t= физическим ядрам, гипертрединг выключить в наборе; NUMA-флаги — perf-tuning. - Термалы/питание: GPU сбрасывает частоты (nvidia-smi: clocks/throttle), ноутбук на батарее.
- Другой процесс занял VRAM/каналы — nvidia-smi, диспетчер задач.
pp низкий — чек-лист
-faвыключен?-fa autoдолжен включать; проверьте лог — FA даёт сильный прирост префилла (attention).-ubмал: 512 → 1024/2048 (память буферов растёт!) — батчинг.-tb: на гибридных системах потоки префилла отдельно (-tb N).- BLAS (CPU-only):
-DGGML_BLAS=ONускоряет pp при-b > 32— бэкенды. - Общий префикс не кэшируется: на сервере
--cache-prompt(дефолт on) и повторный системный промпт считаются каждый раз при несовпадении — batching-flags. - Очень длинный промпт по сети (при
--server-baseу CLI) — считайте локально.
Скорость ≠ качество
Слишком агрессивные меры (квант IQ2, обрезка слоёв --prune-layers) «ускорят» ценой
деградации — проверяйте качество.
Что дальше
Скорость нормальна, но результат разочаровал → diag-quality; влезание в память — diag-oom. Карта — troubleshooting.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.