LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / GPU-оффлоад слоёв

GPU-оффлоад слоёв

Коротко: -ngl решает, сколько слоёв модели живёт в VRAM; остальное считается CPU и ждёт данные из RAM. Ключ к скорости декода — больше слоёв на GPU, но VRAM должен вместить веса + KV-кэш + буферы + запас.

Бюджет VRAM

VRAM ≈ веса(квант) + KV-кэш(-c, -ctk/-ctv, -np) + буферы вычислений(-b/-ub, -fa) + запас
  • Веса: параметры × bpw / 8 — таблицы в типах квантования.
  • KV-кэш: формула и таблицы — KV-кэш (помните -np для слотов).
  • Буферы: растут с -ub и зависят от -fa.
  • Запас: -fitt (дефолт 1024 MiB на устройство) — v1.0.0 держит его сам, см. --fit.

v1.0.0: auto-режимы

  • -ngl auto (дефолт) — llama.cpp сам подбирает число слоёв/оффлоад.
  • -fit on (дефолт) — подгоняет неустановленные аргументы (контекст, оффлоад) под свободную память с целевым запасом -fitt (1024 MiB), но не ниже -fitc (4096 токенов контекста). Если хотите точного контроля — задавайте -ngl/-c явно.

Пошагово: подобрать конфигурацию

# 1) старт с авто
llama-server -m model-Q4_K_M.gguf -c 16384

# 2) посмотрите лог: сколько слоёв оффлоадится, сколько VRAM занято
#    (llm_load_tensors: offloading N repeating layers to GPU / выделения буферов)
# 3) не влезло — уменьшайте по порядку:
#    -ctk q8_0 -ctv q8_0  (KV вдвое меньше, нужен -fa)
#    -ub 256              (меньше буферы)
#    -ngl N               (часть слоёв на CPU; смотрите t/s)

Проверка «реально ли на GPU»: лог запуска (llm_load_tensors: offloading N repeating layers), nvidia-smi (NVIDIA), замеры llama-bench.

Несколько GPU

docs/multi-gpu.md (v1.0.0):

Режим Флаг Суть
layer (дефолт) -sm layer слои и их KV распределены по GPU — конвейер
row -sm row ⚠️ в v1.0.0 deprecated (multi-gpu.md: «superseded by tensor») — использовать tensor
tensor -sm tensor параллелизм весов+KV (experimental; требует включённого -fa — без него hard error; несовместим с -fit; на NVIDIA ускоряется P2P: GGML_CUDA_P2P=1)
выбрать устройства -dev CUDA0,CUDA1, --list-devices только перечисленные
пропорции -ts 3,1 доля оффлоада на каждый GPU

Правило: layer — по умолчанию и обычно лучший старт; row/tensor — когда слоёв мало или GPU разной скорости, проверяйте llama-bench.

MoE-модели: вынести экспертов на CPU

v1.0.0:

llama-server -m moe-model.gguf -cmoe            # все expert-веса в CPU
llama-server -m moe-model.gguf -ncmoe 12        # первые 12 слоёв experts в CPU
# + MoE-кэш самых используемых экспертов в VRAM:
--moe-cache-mib 4096 --moe-cache-cpu-share 0.5  # тюнинг: scripts/moe-cache-tune.py

Позволяет «большие MoE на маленькой видеокарте» — держит attention+shared на GPU, эксперты на CPU с кэшем горячих. Разбор — docs/moe-cache.md; концепт MoE — parking lot (llm.moe).

Типичные ошибки

  • Влезло «почти» → своп/краш при генерации: закладывайте запас выше (см. diag-oom).
  • -ngl all на CPU-only сборке → llama.cpp предупреждает в логе и игнорирует (нет GPU-бэкенда): бэкенды.
  • Скорость не выросла после оффлоада → diag-slow (проверьте, что декод реально на GPU, а не PCIe-пинг-понг от row-режима).
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию