оффлоад слоёв g.offload
размещение части слоёв модели на GPU, остальных — в RAM (`-ngl`)
Статья: lcp.gpu-offload — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.
g.offloadразмещение части слоёв модели на GPU, остальных — в RAM (`-ngl`)