Главная / llama.cpp Handbook / Производительность: базовая настройка
Производительность: базовая настройка
Коротко: порядок действий, а не «магический флаг»: (1) понять, pp или tg медленный; (2) убедиться, что декод реально на GPU; (3) только потом крутить потоки/батчи/квант. Каждое изменение — через llama-bench.
Шаг 0. Что именно медленно
| Симптом | Фаза | Смотреть |
|---|---|---|
| первый токен ждётся вечность | префилл | pp, -ub, -fa, длина промпта |
| ответ «печатает» медленно | декод | tg, квант, -ngl, память |
Шаг 1. Бэкенд и оффлоад (самый большой рычаг)
- Убедитесь, что GPU-бэкенд есть в сборке — Бэкенды (
--list-devices, лог). -ngl all(или auto+-fit) — GPU-оффлоад; для MoE —-cmoe/-ncmoe+ MoE-кэш.- tg упирается в пропускную способность памяти: меньший квант = больше токенов/с (немонотонно, меряйте).
Шаг 2. Потоки (если CPU участвует)
-t= физические ядра (гипертрединг обычно вредит);-tbотдельно для префилла.- Дефолт
-t -1(авто) часто хорош; включите NUMA-флаг (--numa distribute/isolate) на многосокетных системах. - Аффинити (
-Cr,--cpu-strict) — на системах с E/P-ядрами: держите тяжёлые потоки на P-ядрах.
Шаг 3. FlashAttention и батчи
-fa auto/on: быстрее префилл, меньше буферы; нужен для квантованного KV-кэша (docs/multi-gpu.md подтверждает для V).- pp:
-ub512→1024 (+ памяти буферов); tg почти не зависит от-ub. - Windows/CPU:
-tbиногда выгодно меньше-t(не драться за ядра).
Шаг 4. Память и загрузка
-lm mmap(частьauto) — быстрый старт;-lm mmap+mlock— против выгрузки страниц на «занятой» машине (нужен запас RAM!).-kvo/-nkvo,-cram, lazy-mode — для нестандартных сценариев памяти; трогать по показаниям diag-oom/diag-slow.
Реалистичные ожидания
- Оценочные ориентиры (не замеры, железо решает): CPU-only — единицы–десятки t/s у 7–9B моделей (RAM-бандвич решает всё); consumer-GPU (8–16 ГБ) — десятки t/s у 7–9B Q4_K_M; большие модели — по бюджету VRAM (gpu-offload).
- Сравнивайте соотношения своих замеров, не чужие абсолютные числа (методика).
Дальше
Всё ещё медленно → diag-slow; OOM при гонке за скоростью → diag-oom.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.