tokens per second (t/s) g.tps
скорость генерации в токенах в секунду; основная метрика «быстроты»
Статья: lcp.perf-tuning — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.
g.tpsскорость генерации в токенах в секунду; основная метрика «быстроты»