Что такое llama.cpp
Коротко: llama.cpp — проект на чистом C/C++ для запуска LLM локально: минимальные зависимости, инференс на CPU, GPU и в связке, формат моделей GGUF, инструменты от CLI до OpenAI-совместимого сервера. Основной продукт — библиотека
llama(include/llama.h), утилиты строятся вокруг неё.
Философия
- Локально и без ограничений платформ: от ноутбука с CPU до multi-GPU (бэкенды: CUDA, Vulkan, Metal, SYCL, HIP и др. — см. Бэкенды).
- Модель самодостаточна: GGUF несёт веса, токенизатор, чат-шаблон и метаданные — см. GGUF.
- Кванты — гражданин первого класса: сжатые модели — основной сценарий (Квантование, Типы квантования).
- Никакого обучения (кроме экспериментов): движок применяет готовые веса — см. Как обучают LLM.
Инструменты (v1.0.0)
| Утилита | Назначение | Статья |
|---|---|---|
llama-cli |
чат и генерация в терминале | llama-cli |
llama-server |
HTTP-сервер с OpenAI-совместимым API + Web UI | llama-server |
llama-quantize |
квантование GGUF | Квантование |
llama-bench |
замер pp/tg производительности | Бенчмарки |
llama-perplexity |
ppl/KLD для оценки качества | diag-quality |
llama-imatrix |
importance matrix для I-квантов | Квантование |
llama-embedding |
векторы текстов | Эмбеддинги |
llama-tokenize |
разбор токенизатора | server-api (/tokenize) |
llama-gguf-split |
нарезка/склейка шардов GGUF | GGUF |
llama-mtmd-cli |
мультимодальность (изображения/аудио/видео) | parking lot (lcp.mmproj) |
В документации встречается и форма llama <подкоманда> (например llama cli) —
мультиколл-обёртка; классические имена бинарников сохранены.
Версионирование (важно, изменилось!)
Проект перешёл на семантические версии (vMAJOR.MINOR.PATCH); исторические теги
вида bNNNN остались в прошлом. Stable-версии поставляются через установщики и
менеджеры пакетов (winget, brew, conda-forge, nix, llama-install.sh), ночные
сборки — через GitHub; тег = релиз. Правила см. docs/release.md в
закупленных источниках.
Этот справочник привязан к v1.0.0 (пиннинг 2026-11-15); дефолты флагов в статьях верифицированы по нему. При смене версии справочник перекалибровывается (протокол).
Связь с LLM Handbook
llama.cpp реализует концепты справочника LLM: attention → -fa,
контекст → -c, сэмплирование →
флаги сэмплеров, квантование → llama-quantize. Полная
матрица — CROSSMAP.
Что читать дальше
- Практика с нуля: Запуск первой модели.
- Железо и сборка: Сборка llama.cpp → Бэкенды.