Главная / llama.cpp Handbook / llama-server: HTTP-сервер
llama-server: HTTP-сервер
Коротко:
llama-server— модель как сервис: OpenAI-совместимый API, собственный API, встроенный Web UI, параллельные слоты и prompt-кэш. Дефолт v1.0.0 — слушать127.0.0.1:9931.
Минимальный запуск
llama-server -m ./model-Q4_K_M.gguf
- Адрес:
--host 127.0.0.1 --port 9931(v1.0.0). - Web UI включён:
http://127.0.0.1:9931прямо в браузере (--no-webuiотключить). - Здоровье:
GET /health→{"status":"ok"}.
Типовая конфигурация
llama-server -m ./model-Q4_K_M.gguf \
-c 16384 -ngl all -fa auto \
-np 2 -cb \
--api-key "sk-LOCAL-…" \
--host 0.0.0.0 --port 9931 \
--metrics
| Флаг | Что делает | Дефолт v1.0.0 |
|---|---|---|
-c |
общий контекст (делится между слотами) | 0 = из модели |
-ngl / -fa |
GPU-оффлоад / FlashAttention | auto / auto |
-np, --parallel |
число слотов | -1 = auto |
-cb, --cont-batching |
continuous batching | enabled |
--api-key |
ключ(и) доступа (или --api-key-file) |
none |
--host/--port |
слушать на | 127.0.0.1:9931 |
--metrics |
GET /metrics (Prometheus) |
disabled |
Слоты и память кэша запросов: -cram (лимит prompt-кэша RAM, дефолт 8192 MiB),
--cache-prompt (включён), --cache-reuse (переиспользование через KV-shift) —
детали в batching-flags.
Безопасность (минимум)
- Не публикуйте сервер без
--api-key:--host 0.0.0.0без ключа = доступ всем. - TLS:
--ssl-key-file/--ssl-cert-file; CORS:--cors-origins(дефолт*— сузить!). - Экспериментальные инструменты агента (
--tools,--mcp-servers-config) — только в доверенном окружении; сервер сам ограничивает CORS при их включении.
Docker
services:
llamacpp-server:
image: ghcr.io/ggml-org/llama.cpp:server
ports: [ "8080:9931" ]
volumes: [ "./models:/models" ]
environment:
LLAMA_ARG_MODEL: /models/model-Q4_K_M.gguf
LLAMA_ARG_CTX_SIZE: 16384
LLAMA_ARG_N_PARALLEL: 2
LLAMA_ARG_PORT: 9931
LLAMA_API_KEY: sk-LOCAL-…
(env-переменные LLAMA_ARG_* зеркалят флаги; аргумент CLI имеет приоритет над env.)
Несколько моделей (router)
v1.0.0 умеет роутер-режим: --models-dir/--models-preset, автозагрузка моделей,
выгрузка LRU по памяти (--models-max, --models-memory-margin) — обзор в
server-api; детали — tools/server/README.md (§ Using multiple models).
Что читать дальше
- API с примерами — HTTP API llama-server.
- Сквозной сценарий — «llama-server для себя и команды».
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.