Главная / llama.cpp Handbook / Батчинг: -b, -ub, --parallel и слоты сервера
Батчинг: -b, -ub, --parallel и слоты сервера
Концепт — Батчинг. Здесь — параметры llama.cpp.
Физический уровень: -b / -ub
| Флаг | Дефолт | Что делает |
|---|---|---|
-b, --batch-size |
2048 | максимум токенов, обрабатываемых логически за итерацию (префилл) |
-ub, --ubatch-size |
512 | физический кусок за один проход вычислений |
- Префилл (pp) ускоряется с ростом
-ub(больше параллелизма за проход), пока хватает памяти буферов и скорости вычислений. - Память буферов растёт с
-ub; при OOM на большом промпте уменьшайте-ub— diag-oom. - BLAS ускоряет pp при
-b > 32; на tg не влияет (docs/build.md). - Метрика эффекта: pp в llama-bench.
Логический уровень: --parallel и слоты
| Флаг | Дефолт | Что делает |
|---|---|---|
-np, --parallel |
server: -1 (auto); CLI: 1 | число слотов — параллельных последовательностей |
-cb, --cont-batching / -nocb |
enabled | continuous batching — слоты дозаполняются, не дожидаясь всей партии |
-c |
из модели | контекст; делится между слотами (или общий пул, см. ниже) |
--kv-unified / --no-kvu |
auto (при auto-слотах — включен) | единый KV-буфер на все последовательности |
--kv-unified-per-slot N |
unset | лимит контекста на слот при едином пуле |
Планируя -np, помните: KV-кэш × слоты — главный рост памяти
(KV-кэш).
Prompt-кэш сервера
| Флаг | Дефолт | Что делает |
|---|---|---|
--cache-prompt / --no-cache-prompt |
enabled | переиспользование общего префикса (системный промпт) без пересчёта |
--cache-reuse N |
0 | переиспользование через KV-shift минимального чанка |
-cram MiB |
8192 | бюджет RAM для prompt-кэша |
--cache-idle-slots / --no-… |
enabled | выгружать простаивающие слоты в prompt-кэш |
-sps SIMILARITY |
0.10 | порог похожести промпта для выбора слота |
-ctxcp N, -cms N |
32 / 8192 | контекстные чекпоинты (откат/переключение разговоров) |
--slot-save-path |
off | save/restore KV слота (/slots/{id}?action=save) |
Эффект: повторные запросы с общим началом (чат, RAG с одним системным промптом) обрабатываются с TTFT ≈ 0 — префилл уже посчитан.
Что измерять
GET /slots— живое состояние слотов (server-api).GET /metrics(нужен--metrics) — запросы в очереди, занятость слотов.- Пропускную способность под нагрузкой —
llama-batched-bench(в сборке) и llama-bench.
Рецепты
- Личный чат:
-np 1, стандартный-b/-ub. - 3–5 пользователей:
-np 4 -c 32768 -cb(8k на слот) +--cache-prompt. - RAG-сервис с большим системным промптом:
--cache-prompt(дефолт) +-cramпобольше.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.