LLM-GUIDELLM × llama.cpp Конфигуратор …

батч g.batch

группа запросов или токенов, обрабатываемая вместе ради утилизации железа

Статья: llm.batching — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.