батч g.batch
группа запросов или токенов, обрабатываемая вместе ради утилизации железа
Статья: llm.batching — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.
g.batchгруппа запросов или токенов, обрабатываемая вместе ради утилизации железа