LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Глоссарий / continuous batching

continuous batching g.continuous-batching

слоты сервера дозаполняются новыми запросами, не дожидаясь завершения всей партии

Статья: llm.batching — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.