LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Глоссарий / оффлоад слоёв

оффлоад слоёв g.offload

размещение части слоёв модели на GPU, остальных — в RAM (`-ngl`)

Статья: lcp.gpu-offload — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.