LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / llama-server: HTTP-сервер

llama-server: HTTP-сервер

Коротко: llama-server — модель как сервис: OpenAI-совместимый API, собственный API, встроенный Web UI, параллельные слоты и prompt-кэш. Дефолт v1.0.0 — слушать 127.0.0.1:9931.

Минимальный запуск

llama-server -m ./model-Q4_K_M.gguf
  • Адрес: --host 127.0.0.1 --port 9931 (v1.0.0).
  • Web UI включён: http://127.0.0.1:9931 прямо в браузере (--no-webui отключить).
  • Здоровье: GET /health → {"status":"ok"}.

Типовая конфигурация

llama-server -m ./model-Q4_K_M.gguf \
  -c 16384 -ngl all -fa auto \
  -np 2 -cb \
  --api-key "sk-LOCAL-…" \
  --host 0.0.0.0 --port 9931 \
  --metrics
Флаг Что делает Дефолт v1.0.0
-c общий контекст (делится между слотами) 0 = из модели
-ngl / -fa GPU-оффлоад / FlashAttention auto / auto
-np, --parallel число слотов -1 = auto
-cb, --cont-batching continuous batching enabled
--api-key ключ(и) доступа (или --api-key-file) none
--host/--port слушать на 127.0.0.1:9931
--metrics GET /metrics (Prometheus) disabled

Слоты и память кэша запросов: -cram (лимит prompt-кэша RAM, дефолт 8192 MiB), --cache-prompt (включён), --cache-reuse (переиспользование через KV-shift) — детали в batching-flags.

Безопасность (минимум)

  • Не публикуйте сервер без --api-key: --host 0.0.0.0 без ключа = доступ всем.
  • TLS: --ssl-key-file/--ssl-cert-file; CORS: --cors-origins (дефолт * — сузить!).
  • Экспериментальные инструменты агента (--tools, --mcp-servers-config) — только в доверенном окружении; сервер сам ограничивает CORS при их включении.

Docker

services:
  llamacpp-server:
    image: ghcr.io/ggml-org/llama.cpp:server
    ports: [ "8080:9931" ]
    volumes: [ "./models:/models" ]
    environment:
      LLAMA_ARG_MODEL: /models/model-Q4_K_M.gguf
      LLAMA_ARG_CTX_SIZE: 16384
      LLAMA_ARG_N_PARALLEL: 2
      LLAMA_ARG_PORT: 9931
      LLAMA_API_KEY: sk-LOCAL-…

(env-переменные LLAMA_ARG_* зеркалят флаги; аргумент CLI имеет приоритет над env.)

Несколько моделей (router)

v1.0.0 умеет роутер-режим: --models-dir/--models-preset, автозагрузка моделей, выгрузка LRU по памяти (--models-max, --models-memory-margin) — обзор в server-api; детали — tools/server/README.md (§ Using multiple models).

Что читать дальше

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию