LLM-GUIDELLM × llama.cpp Конфигуратор …

p.parallel

Что делаетчисло слотов/параллельных последовательностей
CLI-np, --parallel
Серверstartup: -np
По умолчанию (v1.0.0)CLI: 1; server: -1 (auto)
Диапазон—
Концептllm.batching
Заметкислоты делят контекст; continuous batching включен по умолчанию (p.cont-batching)

Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →