LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Сборка llama.cpp

Сборка llama.cpp

Коротко: два пути — готовая сборка (быстрее) или cmake из исходников (нужен для конкретных GPU-бэкендов). Бинарники появляются в build/bin/.

Путь 1: готовая сборка (рекомендуется для старта)

Stable-версии распространяются пакетами (docs/install.md v1.0.0):

# Windows
winget install llama.cpp
# macOS / Linux
brew install llama.cpp
# любой ОС
conda install -c conda-forge llama.cpp   # CUDA/Vulkan/Metal варианты
pixi add llama.cpp                       # проект-локально

GitHub Releases не публикует stable — только nightly/сборки разработки; тег v* — источник для пакетов (docs/release.md). Проверка версии:

llama-cli --version

Путь 2: сборка из исходников

CPU (базовый случай)

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release -j 8

Бинарники: build/bin/llama-cli, build/bin/llama-server, … (-j — параллельная компиляция; для повторных сборок полезен ccache).

GPU-бэкенды

Бэкенд включается cmake-опцией; полный список и специфика — Бэкенды и docs/build.md:

Бэкенд Опция Примечание
CUDA (NVIDIA) -DGGML_CUDA=ON для универсальной сборки: -DGGML_NATIVE=OFF; точечные архитектуры: -DCMAKE_CUDA_ARCHITECTURES="86;89"
Vulkan см. docs/build.md (Vulkan) NVIDIA/AMD/Intel, не требует toolkit CUDA
Metal (macOS) включён по умолчанию отключить: -DGGML_METAL=OFF
SYCL / HIP см. docs/build.md (SYCL, HIP) Intel oneAPI / AMD ROCm
BLAS (CPU) -DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS ускоряет префилл при -b > 32, генерацию не трогает

Windows (VS2022)

Ставится workload «Desktop development with C++» + CMake/Git/Clang-компоненты; работа — из Developer Command Prompt. Для ARM64-WoA:

cmake --preset arm64-windows-llvm-release -D GGML_OPENMP_FETCH=ON
cmake --build build-arm64-windows-llvm-release

(x64-аналог — пресет x64-windows-llvm-release; GGML_OPENMP_FETCH=ON подтягивает LLVM OpenMP runtime — требует Clang, 7-Zip и сеть на этапе конфигурации.)

Dev-сборки и версии

Сборки из мастера носят суффикс -dev; пакетные сборщики передают -DLLAMA_BUILD_IS_DEV=OFF для чистой строки версии (docs/release.md). Для воспроизводимых экспериментов фиксируйте тег: git checkout v1.0.0 перед сборкой.

Проверка после сборки

./build/bin/llama-cli --version          # версия и сборка
./build/bin/llama-cli --list-devices     # видимые GPU-устройства (см. backends)

Быстрая проверка работоспособности — модель из HF без ручного скачивания:

llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

(см. llama-cli и models.md).

Типичные проблемы

  • Сборка не видит GPU → бэкенд не был включён при конфигурации; пересоберите с нужной опцией — diag-load, Бэкенды.
  • Старая версия утилит «не понимает» свежие GGUF → собирайте/обновляйте стабильный тег, а не мастер позавчерашнего дня — diag-load.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию