LLM-GUIDELLM × llama.cpp Конфигуратор …

p.n-gpu-layers

Что делаетсколько слоёв модели держать в VRAM
CLI-ngl, --gpu-layers, --n-gpu-layers
Серверstartup: -ngl
По умолчанию (v1.0.0)auto
Диапазончисло | 'auto' | 'all'
Концептg.offload
Заметкиv1.0.0: auto сам подбирает; вместе с p.fit подстраивает unset-аргументы под память

Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →