LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Туториалы / llama-server для себя и команды

llama-server для себя и команды

Путь: запустить сервер → проверить API → подключить клиента (curl/Python/OpenAI SDK) → масштабировать на несколько пользователей. От tut.chat.

Шаг 1. Запуск

llama-server -m model-Q4_K_M.gguf -c 16384 -np 2 --api-key "sk-LOCAL-…"
  • Адрес по умолчанию: 127.0.0.1:9931; Web UI — тот же URL в браузере (llama-server).
  • -np 2 — два слота; контекст -c делится между ними (8k на слот) — планируйте заранее.
  • Для доступа с других машин: --host 0.0.0.0 обязательно с --api-key.

Шаг 2. Проверка API

curl http://127.0.0.1:9931/health
curl http://127.0.0.1:9931/props -H "Authorization: Bearer sk-LOCAL-…"   # настройки

Шаг 3. Клиенты

curl (полный API)

curl http://127.0.0.1:9931/v1/chat/completions \
  -H "Authorization: Bearer sk-LOCAL-…" -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Привет!"}],"temperature":0.7,"seed":42}'

Python (OpenAI SDK — OpenAI-совместимый endpoint)

from openai import OpenAI

client = OpenAI(base_url="http://127.0.0.1:9931/v1", api_key="sk-LOCAL-…")
resp = client.chat.completions.create(
    model="gpt",   # llama-server игнорирует имя, отвечает единственной моделью
    messages=[{"role": "user", "content": "Объясни KV-кэш в двух предложениях"}],
    temperature=0.7,
    seed=42,
)
print(resp.choices[0].message.content)

Любой готовый клиент

OpenAI-совместимость — официальные эндпоинты /v1/*: телефонные приложения, редакторы кода, IDE-плагины подключаются через base_url + api_key.

Шаг 4. Наблюдение

  • GET /slots — кто сейчас генерирует, длины контекстов.
  • Перезапуск с --metrics → GET /metrics (Prometheus): очередь, занятость слотов.
  • Prompt-кэш: повторные запросы с общим началом стартуют мгновенно (batching-flags).

Шаг 5. Масштабирование под команду

Задача Настройка
2–5 человек, чат -np 4 -c 32768 -cb (дефолт on), --api-key-file keys.txt
Общий префикс (один system-промпт) ничего: --cache-prompt (дефолт on) + -cram
TLS/прокси --ssl-key-file/--ssl-cert-file или reverse-proxy
Docker compose-пример в llama-server

Если VRAM не влезает при росте -np — квантование KV (-ctk/-ctv q8_0) и/или меньший -c — diag-oom.

Что дальше

  • Ассистент этого справочника подключается к этому же серверу — SPEC.
  • Производительность под нагрузкой — llama-bench, perf-tuning.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию