LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Что такое llama.cpp

Что такое llama.cpp

Коротко: llama.cpp — проект на чистом C/C++ для запуска LLM локально: минимальные зависимости, инференс на CPU, GPU и в связке, формат моделей GGUF, инструменты от CLI до OpenAI-совместимого сервера. Основной продукт — библиотека llama (include/llama.h), утилиты строятся вокруг неё.

Философия

  • Локально и без ограничений платформ: от ноутбука с CPU до multi-GPU (бэкенды: CUDA, Vulkan, Metal, SYCL, HIP и др. — см. Бэкенды).
  • Модель самодостаточна: GGUF несёт веса, токенизатор, чат-шаблон и метаданные — см. GGUF.
  • Кванты — гражданин первого класса: сжатые модели — основной сценарий (Квантование, Типы квантования).
  • Никакого обучения (кроме экспериментов): движок применяет готовые веса — см. Как обучают LLM.

Инструменты (v1.0.0)

Утилита Назначение Статья
llama-cli чат и генерация в терминале llama-cli
llama-server HTTP-сервер с OpenAI-совместимым API + Web UI llama-server
llama-quantize квантование GGUF Квантование
llama-bench замер pp/tg производительности Бенчмарки
llama-perplexity ppl/KLD для оценки качества diag-quality
llama-imatrix importance matrix для I-квантов Квантование
llama-embedding векторы текстов Эмбеддинги
llama-tokenize разбор токенизатора server-api (/tokenize)
llama-gguf-split нарезка/склейка шардов GGUF GGUF
llama-mtmd-cli мультимодальность (изображения/аудио/видео) parking lot (lcp.mmproj)

В документации встречается и форма llama <подкоманда> (например llama cli) — мультиколл-обёртка; классические имена бинарников сохранены.

Версионирование (важно, изменилось!)

Проект перешёл на семантические версии (vMAJOR.MINOR.PATCH); исторические теги вида bNNNN остались в прошлом. Stable-версии поставляются через установщики и менеджеры пакетов (winget, brew, conda-forge, nix, llama-install.sh), ночные сборки — через GitHub; тег = релиз. Правила см. docs/release.md в закупленных источниках.

Этот справочник привязан к v1.0.0 (пиннинг 2026-11-15); дефолты флагов в статьях верифицированы по нему. При смене версии справочник перекалибровывается (протокол).

Связь с LLM Handbook

llama.cpp реализует концепты справочника LLM: attention → -fa, контекст → -c, сэмплирование → флаги сэмплеров, квантование → llama-quantize. Полная матрица — CROSSMAP.

Что читать дальше

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию