llama-server для себя и команды
Путь: запустить сервер → проверить API → подключить клиента (curl/Python/OpenAI SDK) → масштабировать на несколько пользователей. От tut.chat.
Шаг 1. Запуск
llama-server -m model-Q4_K_M.gguf -c 16384 -np 2 --api-key "sk-LOCAL-…"
- Адрес по умолчанию:
127.0.0.1:9931; Web UI — тот же URL в браузере (llama-server). -np 2— два слота; контекст-cделится между ними (8k на слот) — планируйте заранее.- Для доступа с других машин:
--host 0.0.0.0обязательно с--api-key.
Шаг 2. Проверка API
curl http://127.0.0.1:9931/health
curl http://127.0.0.1:9931/props -H "Authorization: Bearer sk-LOCAL-…" # настройки
Шаг 3. Клиенты
curl (полный API)
curl http://127.0.0.1:9931/v1/chat/completions \
-H "Authorization: Bearer sk-LOCAL-…" -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Привет!"}],"temperature":0.7,"seed":42}'
Python (OpenAI SDK — OpenAI-совместимый endpoint)
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:9931/v1", api_key="sk-LOCAL-…")
resp = client.chat.completions.create(
model="gpt", # llama-server игнорирует имя, отвечает единственной моделью
messages=[{"role": "user", "content": "Объясни KV-кэш в двух предложениях"}],
temperature=0.7,
seed=42,
)
print(resp.choices[0].message.content)
Любой готовый клиент
OpenAI-совместимость — официальные эндпоинты /v1/*:
телефонные приложения, редакторы кода, IDE-плагины подключаются через
base_url + api_key.
Шаг 4. Наблюдение
GET /slots— кто сейчас генерирует, длины контекстов.- Перезапуск с
--metrics→GET /metrics(Prometheus): очередь, занятость слотов. - Prompt-кэш: повторные запросы с общим началом стартуют мгновенно (batching-flags).
Шаг 5. Масштабирование под команду
| Задача | Настройка |
|---|---|
| 2–5 человек, чат | -np 4 -c 32768 -cb (дефолт on), --api-key-file keys.txt |
| Общий префикс (один system-промпт) | ничего: --cache-prompt (дефолт on) + -cram |
| TLS/прокси | --ssl-key-file/--ssl-cert-file или reverse-proxy |
| Docker | compose-пример в llama-server |
Если VRAM не влезает при росте -np — квантование KV (-ctk/-ctv q8_0) и/или меньший
-c — diag-oom.
Что дальше
- Ассистент этого справочника подключается к этому же серверу — SPEC.
- Производительность под нагрузкой — llama-bench, perf-tuning.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.