LLM-GUIDELLM × llama.cpp Конфигуратор …

p.cont-batching

Что делаетнепрерывный батчинг запросов сервера
CLI-cb, --cont-batching / -nocb, --no-cont-batching
Серверstartup: -cb
По умолчанию (v1.0.0)enabled
Диапазонon/off
Концептllm.batching
Заметки—

Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →