LLM-GUIDELLM × llama.cpp Конфигуратор …

p.batch-size

Что делаетлогический макс. батч (обработка промпта)
CLI-b, --batch-size
Серверstartup: -b
По умолчанию (v1.0.0)2048
Диапазон—
Концептllm.batching
Заметки—

Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →