LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / HTTP API llama-server

HTTP API llama-server

Коротко: три семейства эндпоинтов: OpenAI-совместимые (/v1/…) — для готовых клиентов и SDK; собственные llama.cpp (/completion, /tokenize, /slots…) — для полного контроля; Anthropic-совместимые (/v1/messages) — для клиентов Claude-формата. Аутентификация: Authorization: Bearer <ключ> при --api-key.

Карта эндпоинтов (v1.0.0)

Семейство Эндпоинт Что делает
OpenAI POST /v1/chat/completions чат (роли, стриминг, tools)
OpenAI POST /v1/completions старый completion-формат
OpenAI POST /v1/embeddings эмбеддинги текстов
OpenAI POST /v1/responses Responses API (агентные сценарии)
OpenAI GET /v1/models информация о модели(ях)
OpenAI POST /v1/systemone TypeSafe-совместимый формат
OpenAI POST /v1/audio/speech TTS
OpenAI WS /v1/realtime realtime-транскрипция
OpenAI POST /v1/chat/completions/input_tokens, /v1/responses/input_tokens подсчёт токенов
OpenAI POST /v1/chat/completions/control управление выполняющимся запросом
Anthropic POST /v1/messages, /v1/messages/count_tokens формат Claude
llama.cpp POST /completion нативный completion (полный контроль сэмплеров)
llama.cpp POST /tokenize, /detokenize текст ↔ токены (tokenization)
llama.cpp POST /apply-template превью итогового промпта из сообщений
llama.cpp POST /embedding, /embeddings векторы (pooling)
llama.cpp POST /reranking реранкинг документов (нужен --reranking)
роутер GET/POST/DELETE /models, GET /models/sse мульти-модельный роутер (--models-dir)
llama.cpp POST /infill FIM-дозаполнение кода
llama.cpp POST /tts синтез речи (--tts-lang/--tts-voice)
llama.cpp GET /health готовность
llama.cpp GET /props (+POST при --props) свойства/настройки сервера
llama.cpp GET /slots (+ save/restore/erase) состояние слотов, кэши
llama.cpp GET/POST /lora-adapters LoRA на лету
llama.cpp GET /metrics Prometheus (нужен --metrics)

Примеры

OpenAI-совместимый чат (curl)

curl http://127.0.0.1:9931/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-LOCAL-…" \
  -d '{
    "model": "gpt", 
    "messages": [
      {"role": "system", "content": "Ты лаконичный ассистент."},
      {"role": "user", "content": "Что такое KV-кэш? Одно предложение."}
    ],
    "temperature": 0.6, "top_p": 0.95, "seed": 42
  }'

Нативный completion с грамматикой

curl http://127.0.0.1:9931/completion -H "Content-Type: application/json" -d '{
  "prompt": "Список городов:",
  "n_predict": 64,
  "temperature": 0.6,
  "json_schema": {"type":"array","items":{"type":"string"},"minItems":3,"maxItems":5}
}'

(стриминг: "stream": true → SSE-события; полный список полей — /completion в tools/server/README.md; grammar/json_schema.)

Токен-калькулятор перед отправкой

curl http://127.0.0.1:9931/tokenize -H "Content-Type: application/json" \
  -d '{"content":"Сколько здесь токенов?"}'

Роутер нескольких моделей

--models-dir / --models-preset (INI) поднимают несколько моделей: /v1/models показывает все, запросы адресуются по model; LRU-выгрузка по памяти (--models-max, --models-memory-margin) — см. tools/server/README.md (§ Using multiple models).

Что читать дальше

  • Запуск сервера — llama-server; сквозной сценарий с Python-SDK — tut.server.
  • Поля сэмплирования в запросе — sampler-flags.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию