LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Глоссарий / ubatch (микро-батч)

ubatch (микро-батч) g.ubatch

физический пакет токенов, реально укладываемый в один проход вычислений

Статья: llm.batching — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.