ubatch (микро-батч) g.ubatch
физический пакет токенов, реально укладываемый в один проход вычислений
Статья: llm.batching — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.
g.ubatchфизический пакет токенов, реально укладываемый в один проход вычислений