LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Бэкенды: CPU, CUDA, Vulkan, Metal, SYCL

Бэкенды: CPU, CUDA, Vulkan, Metal, SYCL

Коротко: бэкенд — вычислительное ядро под конкретное API железа. От выбора зависят скорость, поддержка FlashAttention и квантованного KV-кэша. Сборка/пакет определяют, какие бэкенды присутствуют; llama.cpp использует их автоматически и говорит, что именно использует, в логе запуска.

Обзор

Бэкенд Железо Включение (сборка/пакет) Замечания
CPU любой x86/ARM по умолчанию AVX/NEON автодетект; BLAS ускоряет префилл (-DGGML_BLAS=ON)
CUDA NVIDIA -DGGML_CUDA=ON; пакеты conda-forge «CUDA» самый полный набор фич; см. docs/build.md (CUDA)
Vulkan NVIDIA/AMD/Intel пакеты «Vulkan», сборка универсальный GPU-вариант без toolkit
Metal Apple Silicon по умолчанию на macOS -DGGML_METAL=OFF чтобы отключить
SYCL Intel GPU docs/build.md (SYCL) oneAPI
HIP AMD docs/build.md (HIP) ROCm
OpenCL/CANN/ZenDNN… нишевые docs/backend/*.md экзотика, вне MVP-маршрутов

llama.cpp может использовать несколько бэкендов одновременно (например CUDA для слоёв на GPU + CPU для остальных): это обычный режим оффлоада.

Как проверить, что работает нужный бэкенд

llama-cli --list-devices          # список GPU-устройств
llama-server -m model.gguf -ngl all 2>&1 | head

В логе запуска видно выбранные бэкенды/устройства и число выгруженных слоёв (llm_load_tensors: offloading N repeating layers to GPU). Если GPU не упомянут — бэкенда нет в сборке: diag-slow → пересборка build.

Выбор по сценарию

  • NVIDIA, максимум скорости и фич (FlashAttention, квантованный KV, спекулятив): CUDA.
  • AMD/Intel или «без CUDA toolkit»: Vulkan (просто и часто достаточно) или HIP/SYCL (быстрее при настройке).
  • macOS: Metal по умолчанию.
  • Только CPU: AVX-сборка + правильные потоки; BLAS — если префилл критичен.

Взаимодействие с концептами LLM

  • FlashAttention: -fa требует поддержки бэкендом (v1.0.0: on/off/auto, по умолчанию auto — включает там, где умеет).
  • Квантованный KV-кэш (-ctk/-ctv ≠ f16) — требует FA (docs/multi-gpu.md подтверждает для V-кэша; для K — практика: сверяйте на своей сборке).
  • Скорость декода на GPU упирается в VRAM-пропускную способность: подробности — perf-tuning.

Типичные проблемы

  • «Медленно, хотя GPU есть» → смотрите лог: возможно, слои не оффлоадятся или работает не тот бэкенд — diag-slow.
  • CUDA OOM при fit=on подобрал настройки «впритык» — diag-oom.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию