LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Батчинг: -b, -ub, --parallel и слоты сервера

Батчинг: -b, -ub, --parallel и слоты сервера

Концепт — Батчинг. Здесь — параметры llama.cpp.

Физический уровень: -b / -ub

Флаг Дефолт Что делает
-b, --batch-size 2048 максимум токенов, обрабатываемых логически за итерацию (префилл)
-ub, --ubatch-size 512 физический кусок за один проход вычислений
  • Префилл (pp) ускоряется с ростом -ub (больше параллелизма за проход), пока хватает памяти буферов и скорости вычислений.
  • Память буферов растёт с -ub; при OOM на большом промпте уменьшайте -ub — diag-oom.
  • BLAS ускоряет pp при -b > 32; на tg не влияет (docs/build.md).
  • Метрика эффекта: pp в llama-bench.

Логический уровень: --parallel и слоты

Флаг Дефолт Что делает
-np, --parallel server: -1 (auto); CLI: 1 число слотов — параллельных последовательностей
-cb, --cont-batching / -nocb enabled continuous batching — слоты дозаполняются, не дожидаясь всей партии
-c из модели контекст; делится между слотами (или общий пул, см. ниже)
--kv-unified / --no-kvu auto (при auto-слотах — включен) единый KV-буфер на все последовательности
--kv-unified-per-slot N unset лимит контекста на слот при едином пуле

Планируя -np, помните: KV-кэш × слоты — главный рост памяти (KV-кэш).

Prompt-кэш сервера

Флаг Дефолт Что делает
--cache-prompt / --no-cache-prompt enabled переиспользование общего префикса (системный промпт) без пересчёта
--cache-reuse N 0 переиспользование через KV-shift минимального чанка
-cram MiB 8192 бюджет RAM для prompt-кэша
--cache-idle-slots / --no-… enabled выгружать простаивающие слоты в prompt-кэш
-sps SIMILARITY 0.10 порог похожести промпта для выбора слота
-ctxcp N, -cms N 32 / 8192 контекстные чекпоинты (откат/переключение разговоров)
--slot-save-path off save/restore KV слота (/slots/{id}?action=save)

Эффект: повторные запросы с общим началом (чат, RAG с одним системным промптом) обрабатываются с TTFT ≈ 0 — префилл уже посчитан.

Что измерять

  • GET /slots — живое состояние слотов (server-api).
  • GET /metrics (нужен --metrics) — запросы в очереди, занятость слотов.
  • Пропускную способность под нагрузкой — llama-batched-bench (в сборке) и llama-bench.

Рецепты

  • Личный чат: -np 1, стандартный -b/-ub.
  • 3–5 пользователей: -np 4 -c 32768 -cb (8k на слот) + --cache-prompt.
  • RAG-сервис с большим системным промптом: --cache-prompt (дефолт) + -cram побольше.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию