Главная / llama.cpp Handbook / GPU-оффлоад слоёв
GPU-оффлоад слоёв
Коротко:
-nglрешает, сколько слоёв модели живёт в VRAM; остальное считается CPU и ждёт данные из RAM. Ключ к скорости декода — больше слоёв на GPU, но VRAM должен вместить веса + KV-кэш + буферы + запас.
Бюджет VRAM
VRAM ≈ веса(квант) + KV-кэш(-c, -ctk/-ctv, -np) + буферы вычислений(-b/-ub, -fa) + запас
- Веса: параметры × bpw / 8 — таблицы в типах квантования.
- KV-кэш: формула и таблицы — KV-кэш (помните
-npдля слотов). - Буферы: растут с
-ubи зависят от-fa. - Запас:
-fitt(дефолт 1024 MiB на устройство) — v1.0.0 держит его сам, см.--fit.
v1.0.0: auto-режимы
-ngl auto(дефолт) — llama.cpp сам подбирает число слоёв/оффлоад.-fit on(дефолт) — подгоняет неустановленные аргументы (контекст, оффлоад) под свободную память с целевым запасом-fitt(1024 MiB), но не ниже-fitc(4096 токенов контекста). Если хотите точного контроля — задавайте-ngl/-cявно.
Пошагово: подобрать конфигурацию
# 1) старт с авто
llama-server -m model-Q4_K_M.gguf -c 16384
# 2) посмотрите лог: сколько слоёв оффлоадится, сколько VRAM занято
# (llm_load_tensors: offloading N repeating layers to GPU / выделения буферов)
# 3) не влезло — уменьшайте по порядку:
# -ctk q8_0 -ctv q8_0 (KV вдвое меньше, нужен -fa)
# -ub 256 (меньше буферы)
# -ngl N (часть слоёв на CPU; смотрите t/s)
Проверка «реально ли на GPU»: лог запуска (llm_load_tensors: offloading N repeating layers), nvidia-smi
(NVIDIA), замеры llama-bench.
Несколько GPU
docs/multi-gpu.md (v1.0.0):
| Режим | Флаг | Суть |
|---|---|---|
| layer (дефолт) | -sm layer |
слои и их KV распределены по GPU — конвейер |
| row | -sm row |
⚠️ в v1.0.0 deprecated (multi-gpu.md: «superseded by tensor») — использовать tensor |
| tensor | -sm tensor |
параллелизм весов+KV (experimental; требует включённого -fa — без него hard error; несовместим с -fit; на NVIDIA ускоряется P2P: GGML_CUDA_P2P=1) |
| выбрать устройства | -dev CUDA0,CUDA1, --list-devices |
только перечисленные |
| пропорции | -ts 3,1 |
доля оффлоада на каждый GPU |
Правило: layer — по умолчанию и обычно лучший старт; row/tensor — когда слоёв мало или GPU разной скорости, проверяйте llama-bench.
MoE-модели: вынести экспертов на CPU
v1.0.0:
llama-server -m moe-model.gguf -cmoe # все expert-веса в CPU
llama-server -m moe-model.gguf -ncmoe 12 # первые 12 слоёв experts в CPU
# + MoE-кэш самых используемых экспертов в VRAM:
--moe-cache-mib 4096 --moe-cache-cpu-share 0.5 # тюнинг: scripts/moe-cache-tune.py
Позволяет «большие MoE на маленькой видеокарте» — держит attention+shared на GPU,
эксперты на CPU с кэшем горячих. Разбор — docs/moe-cache.md; концепт MoE — parking
lot (llm.moe).
Типичные ошибки
- Влезло «почти» → своп/краш при генерации: закладывайте запас выше (см. diag-oom).
-ngl allна CPU-only сборке → llama.cpp предупреждает в логе и игнорирует (нет GPU-бэкенда): бэкенды.- Скорость не выросла после оффлоада → diag-slow (проверьте, что декод реально на GPU, а не PCIe-пинг-понг от row-режима).
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.