continuous batching g.continuous-batching
слоты сервера дозаполняются новыми запросами, не дожидаясь завершения всей партии
Статья: llm.batching — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.