Главная / llama.cpp Handbook
llama.cpp Handbook
Что такое llama.cpp
conceptbase
lcp.overview
Сборка llama.cpp
how-tobase
lcp.build
Бэкенды: CPU, CUDA, Vulkan, Metal, SYCL
comparisoncore
lcp.backends
Формат GGUF
referencecore
lcp.gguf
Конвертация модели в GGUF
how-tocore
lcp.gguf-convert
Квантование: llama-quantize
how-tocore
lcp.quantize
Типы квантования GGUF
comparisoncore
lcp.quant-types
llama-cli: запуск и чат в терминале
how-tobase
lcp.llama-cli
llama-server: HTTP-сервер
how-tobase
lcp.llama-server
HTTP API llama-server
referencecore
lcp.server-api
Общие флаги: модель, контекст, железо, память
referencecore
lcp.common-flags
Флаги сэмплирования
referencecore
lcp.sampler-flags
GPU-оффлоад слоёв
how-tocore
lcp.gpu-offload
Батчинг: -b, -ub, --parallel и слоты сервера
referencecore
lcp.batching-flags
Чат-шаблоны и reasoning в llama.cpp
how-tocore
lcp.chat-templates
Грамматики GBNF и JSON Schema
how-todeep
lcp.grammar
LoRA-адаптеры в llama.cpp
how-todeep
lcp.lora-usage
Эмбеддинги: получение векторов
how-tocore
lcp.embeddings-usage
llama-bench: замер производительности
how-tocore
lcp.benchmarks
Производительность: базовая настройка
how-tocore
lcp.perf-tuning
Диагностика: карта проблем
troubleshootingbase
lcp.troubleshooting
Не хватает памяти (OOM)
troubleshootingcore
lcp.diag-oom
Медленная генерация или префилл
troubleshootingcore
lcp.diag-slow
Плохое качество после квантования
troubleshootingcore
lcp.diag-quality
Модель не загружается
troubleshootingcore
lcp.diag-load