LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook

llama.cpp Handbook

Что такое llama.cpp conceptbase lcp.overview Сборка llama.cpp how-tobase lcp.build Бэкенды: CPU, CUDA, Vulkan, Metal, SYCL comparisoncore lcp.backends Формат GGUF referencecore lcp.gguf Конвертация модели в GGUF how-tocore lcp.gguf-convert Квантование: llama-quantize how-tocore lcp.quantize Типы квантования GGUF comparisoncore lcp.quant-types llama-cli: запуск и чат в терминале how-tobase lcp.llama-cli llama-server: HTTP-сервер how-tobase lcp.llama-server HTTP API llama-server referencecore lcp.server-api Общие флаги: модель, контекст, железо, память referencecore lcp.common-flags Флаги сэмплирования referencecore lcp.sampler-flags GPU-оффлоад слоёв how-tocore lcp.gpu-offload Батчинг: -b, -ub, --parallel и слоты сервера referencecore lcp.batching-flags Чат-шаблоны и reasoning в llama.cpp how-tocore lcp.chat-templates Грамматики GBNF и JSON Schema how-todeep lcp.grammar LoRA-адаптеры в llama.cpp how-todeep lcp.lora-usage Эмбеддинги: получение векторов how-tocore lcp.embeddings-usage llama-bench: замер производительности how-tocore lcp.benchmarks Производительность: базовая настройка how-tocore lcp.perf-tuning Диагностика: карта проблем troubleshootingbase lcp.troubleshooting Не хватает памяти (OOM) troubleshootingcore lcp.diag-oom Медленная генерация или префилл troubleshootingcore lcp.diag-slow Плохое качество после квантования troubleshootingcore lcp.diag-quality Модель не загружается troubleshootingcore lcp.diag-load