VRAM g.vram
память видеокарты: должны вместиться веса + KV-кэш + буферы вычислений
Статья: lcp.gpu-offload — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.
g.vramпамять видеокарты: должны вместиться веса + KV-кэш + буферы вычислений