LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Глоссарий / tokens per second (t/s)

tokens per second (t/s) g.tps

скорость генерации в токенах в секунду; основная метрика «быстроты»

Статья: lcp.perf-tuning — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.