LLM-GUIDELLM × llama.cpp Конфигуратор …

VRAM g.vram

память видеокарты: должны вместиться веса + KV-кэш + буферы вычислений

Статья: lcp.gpu-offload — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.