KV-кэш g.kv-cache
сохранённые K/V прошлых токенов, чтобы не пересчитывать attention на каждом шаге
Статья: llm.kv-cache — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.
g.kv-cacheсохранённые K/V прошлых токенов, чтобы не пересчитывать attention на каждом шаге