Главная / llama.cpp Handbook / Бэкенды: CPU, CUDA, Vulkan, Metal, SYCL
Бэкенды: CPU, CUDA, Vulkan, Metal, SYCL
Коротко: бэкенд — вычислительное ядро под конкретное API железа. От выбора зависят скорость, поддержка FlashAttention и квантованного KV-кэша. Сборка/пакет определяют, какие бэкенды присутствуют; llama.cpp использует их автоматически и говорит, что именно использует, в логе запуска.
Обзор
| Бэкенд | Железо | Включение (сборка/пакет) | Замечания |
|---|---|---|---|
| CPU | любой x86/ARM | по умолчанию | AVX/NEON автодетект; BLAS ускоряет префилл (-DGGML_BLAS=ON) |
| CUDA | NVIDIA | -DGGML_CUDA=ON; пакеты conda-forge «CUDA» |
самый полный набор фич; см. docs/build.md (CUDA) |
| Vulkan | NVIDIA/AMD/Intel | пакеты «Vulkan», сборка | универсальный GPU-вариант без toolkit |
| Metal | Apple Silicon | по умолчанию на macOS | -DGGML_METAL=OFF чтобы отключить |
| SYCL | Intel GPU | docs/build.md (SYCL) |
oneAPI |
| HIP | AMD | docs/build.md (HIP) |
ROCm |
| OpenCL/CANN/ZenDNN… | нишевые | docs/backend/*.md |
экзотика, вне MVP-маршрутов |
llama.cpp может использовать несколько бэкендов одновременно (например CUDA для слоёв на GPU + CPU для остальных): это обычный режим оффлоада.
Как проверить, что работает нужный бэкенд
llama-cli --list-devices # список GPU-устройств
llama-server -m model.gguf -ngl all 2>&1 | head
В логе запуска видно выбранные бэкенды/устройства и число выгруженных слоёв
(llm_load_tensors: offloading N repeating layers to GPU). Если GPU не упомянут — бэкенда нет в сборке:
diag-slow → пересборка build.
Выбор по сценарию
- NVIDIA, максимум скорости и фич (FlashAttention, квантованный KV, спекулятив): CUDA.
- AMD/Intel или «без CUDA toolkit»: Vulkan (просто и часто достаточно) или HIP/SYCL (быстрее при настройке).
- macOS: Metal по умолчанию.
- Только CPU: AVX-сборка + правильные потоки; BLAS — если префилл критичен.
Взаимодействие с концептами LLM
- FlashAttention:
-faтребует поддержки бэкендом (v1.0.0:on/off/auto, по умолчаниюauto— включает там, где умеет). - Квантованный KV-кэш (
-ctk/-ctv≠ f16) — требует FA (docs/multi-gpu.md подтверждает для V-кэша; для K — практика: сверяйте на своей сборке). - Скорость декода на GPU упирается в VRAM-пропускную способность: подробности — perf-tuning.
Типичные проблемы
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.