LLM-GUIDELLM × llama.cpp Конфигуратор …

p.ubatch-size

Что делаетфизический макс. микро-батч вычислений
CLI-ub, --ubatch-size
Серверstartup: -ub
По умолчанию (v1.0.0)512
Диапазон—
Концептllm.batching
Заметкиглавный рычаг скорости префилла (g.prefill); растит пиковую память

Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →