LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Производительность: базовая настройка

Производительность: базовая настройка

Коротко: порядок действий, а не «магический флаг»: (1) понять, pp или tg медленный; (2) убедиться, что декод реально на GPU; (3) только потом крутить потоки/батчи/квант. Каждое изменение — через llama-bench.

Шаг 0. Что именно медленно

Симптом Фаза Смотреть
первый токен ждётся вечность префилл pp, -ub, -fa, длина промпта
ответ «печатает» медленно декод tg, квант, -ngl, память

Шаг 1. Бэкенд и оффлоад (самый большой рычаг)

  • Убедитесь, что GPU-бэкенд есть в сборке — Бэкенды (--list-devices, лог).
  • -ngl all (или auto+-fit) — GPU-оффлоад; для MoE — -cmoe/-ncmoe + MoE-кэш.
  • tg упирается в пропускную способность памяти: меньший квант = больше токенов/с (немонотонно, меряйте).

Шаг 2. Потоки (если CPU участвует)

  • -t = физические ядра (гипертрединг обычно вредит); -tb отдельно для префилла.
  • Дефолт -t -1 (авто) часто хорош; включите NUMA-флаг (--numa distribute/isolate) на многосокетных системах.
  • Аффинити (-Cr, --cpu-strict) — на системах с E/P-ядрами: держите тяжёлые потоки на P-ядрах.

Шаг 3. FlashAttention и батчи

  • -fa auto/on: быстрее префилл, меньше буферы; нужен для квантованного KV-кэша (docs/multi-gpu.md подтверждает для V).
  • pp: -ub 512→1024 (+ памяти буферов); tg почти не зависит от -ub.
  • Windows/CPU: -tb иногда выгодно меньше -t (не драться за ядра).

Шаг 4. Память и загрузка

  • -lm mmap (часть auto) — быстрый старт; -lm mmap+mlock — против выгрузки страниц на «занятой» машине (нужен запас RAM!).
  • -kvo/-nkvo, -cram, lazy-mode — для нестандартных сценариев памяти; трогать по показаниям diag-oom/diag-slow.

Реалистичные ожидания

  • Оценочные ориентиры (не замеры, железо решает): CPU-only — единицы–десятки t/s у 7–9B моделей (RAM-бандвич решает всё); consumer-GPU (8–16 ГБ) — десятки t/s у 7–9B Q4_K_M; большие модели — по бюджету VRAM (gpu-offload).
  • Сравнивайте соотношения своих замеров, не чужие абсолютные числа (методика).

Дальше

Всё ещё медленно → diag-slow; OOM при гонке за скоростью → diag-oom.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию