Сборка llama.cpp
Коротко: два пути — готовая сборка (быстрее) или cmake из исходников (нужен для конкретных GPU-бэкендов). Бинарники появляются в
build/bin/.
Путь 1: готовая сборка (рекомендуется для старта)
Stable-версии распространяются пакетами (docs/install.md v1.0.0):
# Windows
winget install llama.cpp
# macOS / Linux
brew install llama.cpp
# любой ОС
conda install -c conda-forge llama.cpp # CUDA/Vulkan/Metal варианты
pixi add llama.cpp # проект-локально
GitHub Releases не публикует stable — только nightly/сборки разработки; тег v* —
источник для пакетов (docs/release.md). Проверка версии:
llama-cli --version
Путь 2: сборка из исходников
CPU (базовый случай)
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release -j 8
Бинарники: build/bin/llama-cli, build/bin/llama-server, … (-j — параллельная
компиляция; для повторных сборок полезен ccache).
GPU-бэкенды
Бэкенд включается cmake-опцией; полный список и специфика —
Бэкенды и docs/build.md:
| Бэкенд | Опция | Примечание |
|---|---|---|
| CUDA (NVIDIA) | -DGGML_CUDA=ON |
для универсальной сборки: -DGGML_NATIVE=OFF; точечные архитектуры: -DCMAKE_CUDA_ARCHITECTURES="86;89" |
| Vulkan | см. docs/build.md (Vulkan) |
NVIDIA/AMD/Intel, не требует toolkit CUDA |
| Metal (macOS) | включён по умолчанию | отключить: -DGGML_METAL=OFF |
| SYCL / HIP | см. docs/build.md (SYCL, HIP) |
Intel oneAPI / AMD ROCm |
| BLAS (CPU) | -DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS |
ускоряет префилл при -b > 32, генерацию не трогает |
Windows (VS2022)
Ставится workload «Desktop development with C++» + CMake/Git/Clang-компоненты; работа — из Developer Command Prompt. Для ARM64-WoA:
cmake --preset arm64-windows-llvm-release -D GGML_OPENMP_FETCH=ON
cmake --build build-arm64-windows-llvm-release
(x64-аналог — пресет x64-windows-llvm-release; GGML_OPENMP_FETCH=ON подтягивает
LLVM OpenMP runtime — требует Clang, 7-Zip и сеть на этапе конфигурации.)
Dev-сборки и версии
Сборки из мастера носят суффикс -dev; пакетные сборщики передают
-DLLAMA_BUILD_IS_DEV=OFF для чистой строки версии (docs/release.md). Для
воспроизводимых экспериментов фиксируйте тег: git checkout v1.0.0 перед сборкой.
Проверка после сборки
./build/bin/llama-cli --version # версия и сборка
./build/bin/llama-cli --list-devices # видимые GPU-устройства (см. backends)
Быстрая проверка работоспособности — модель из HF без ручного скачивания:
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF