Главная / llama.cpp Handbook / HTTP API llama-server
HTTP API llama-server
Коротко: три семейства эндпоинтов: OpenAI-совместимые (
/v1/…) — для готовых клиентов и SDK; собственные llama.cpp (/completion,/tokenize,/slots…) — для полного контроля; Anthropic-совместимые (/v1/messages) — для клиентов Claude-формата. Аутентификация:Authorization: Bearer <ключ>при--api-key.
Карта эндпоинтов (v1.0.0)
| Семейство | Эндпоинт | Что делает |
|---|---|---|
| OpenAI | POST /v1/chat/completions |
чат (роли, стриминг, tools) |
| OpenAI | POST /v1/completions |
старый completion-формат |
| OpenAI | POST /v1/embeddings |
эмбеддинги текстов |
| OpenAI | POST /v1/responses |
Responses API (агентные сценарии) |
| OpenAI | GET /v1/models |
информация о модели(ях) |
| OpenAI | POST /v1/systemone |
TypeSafe-совместимый формат |
| OpenAI | POST /v1/audio/speech |
TTS |
| OpenAI | WS /v1/realtime |
realtime-транскрипция |
| OpenAI | POST /v1/chat/completions/input_tokens, /v1/responses/input_tokens |
подсчёт токенов |
| OpenAI | POST /v1/chat/completions/control |
управление выполняющимся запросом |
| Anthropic | POST /v1/messages, /v1/messages/count_tokens |
формат Claude |
| llama.cpp | POST /completion |
нативный completion (полный контроль сэмплеров) |
| llama.cpp | POST /tokenize, /detokenize |
текст ↔ токены (tokenization) |
| llama.cpp | POST /apply-template |
превью итогового промпта из сообщений |
| llama.cpp | POST /embedding, /embeddings |
векторы (pooling) |
| llama.cpp | POST /reranking |
реранкинг документов (нужен --reranking) |
| роутер | GET/POST/DELETE /models, GET /models/sse |
мульти-модельный роутер (--models-dir) |
| llama.cpp | POST /infill |
FIM-дозаполнение кода |
| llama.cpp | POST /tts |
синтез речи (--tts-lang/--tts-voice) |
| llama.cpp | GET /health |
готовность |
| llama.cpp | GET /props (+POST при --props) |
свойства/настройки сервера |
| llama.cpp | GET /slots (+ save/restore/erase) |
состояние слотов, кэши |
| llama.cpp | GET/POST /lora-adapters |
LoRA на лету |
| llama.cpp | GET /metrics |
Prometheus (нужен --metrics) |
Примеры
OpenAI-совместимый чат (curl)
curl http://127.0.0.1:9931/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-LOCAL-…" \
-d '{
"model": "gpt",
"messages": [
{"role": "system", "content": "Ты лаконичный ассистент."},
{"role": "user", "content": "Что такое KV-кэш? Одно предложение."}
],
"temperature": 0.6, "top_p": 0.95, "seed": 42
}'
Нативный completion с грамматикой
curl http://127.0.0.1:9931/completion -H "Content-Type: application/json" -d '{
"prompt": "Список городов:",
"n_predict": 64,
"temperature": 0.6,
"json_schema": {"type":"array","items":{"type":"string"},"minItems":3,"maxItems":5}
}'
(стриминг: "stream": true → SSE-события; полный список полей — /completion в
tools/server/README.md; grammar/json_schema.)
Токен-калькулятор перед отправкой
curl http://127.0.0.1:9931/tokenize -H "Content-Type: application/json" \
-d '{"content":"Сколько здесь токенов?"}'
Роутер нескольких моделей
--models-dir / --models-preset (INI) поднимают несколько моделей: /v1/models
показывает все, запросы адресуются по model; LRU-выгрузка по памяти
(--models-max, --models-memory-margin) — см. tools/server/README.md
(§ Using multiple models).
Что читать дальше
- Запуск сервера — llama-server; сквозной сценарий с Python-SDK — tut.server.
- Поля сэмплирования в запросе — sampler-flags.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.