LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Эмбеддинги: получение векторов

Эмбеддинги: получение векторов

Концепт — Эмбеддинги. Практика: взять embedding-модель (GGUF), поднять сервер в режиме эмбеддингов и получать векторы по HTTP.

Режим эмбеддингов

# сервер: только embedding-сценарий (дедicated embedding-модель!)
llama-server -m embed-model.gguf --embeddings

# аналог без HTTP
llama-embedding -m embed-model.gguf -p "текст" 

--embedding/--embeddings ограничивает сервер этим use-case (v1.0.0 help). Важно: embedding-модель и чат-модель — разные модели; нельзя одной и той же GGUF качественно делать и то и другое (почему).

Pooling: как из токенов получить один вектор

--pooling Смысл Для чего
mean среднее по токенам частый дефолт для sentence-моделей
cls вектор [CLS]-токена BERT-семейства
last последний токен авторегрессионные embedding-модели
rank режим реранкинга для --reranking
none сырые токен-векторы отладка

Дефолт — из модели (метаданные GGUF знают правильный pooling); менять только если точно знаете. Нормализация: --embd-normalize 2 (дефолт, евклидова) — нужна для косинусной близости.

API

# нативный эндпоинт
curl http://127.0.0.1:9931/embedding -H "Content-Type: application/json" \
  -d '{"content":"как погода в Москве сегодня"}'

# OpenAI-совместимый
curl http://127.0.0.1:9931/v1/embeddings -H "Content-Type: application/json" \
  -d '{"input":["текст один","текст два"]}'

# реранкинг найденного (нужен запуск с --reranking)
curl http://127.0.0.1:9931/reranking -H "Content-Type: application/json" \
  -d '{"query":"что такое KV-кэш","documents":["статья про KV","рецепт блинов"]}'

Полный список эндпоинтов — server-api.

Типовой конвейер RAG

  1. Индексация: чанки документов → /v1/embeddings → векторная БД.
  2. Поиск: запрос → вектор → k ближайших чанков.
  3. Реранкинг (опционально): пары «запрос-чанк» → /reranking → топ-3.
  4. Генерация: чат-модель (другой сервер/порт) с найденными чанками в промпте — llama-server.

Производительность

  • Эмбеддинги — сплошной префилл: ускоряются -ub, -fa, GPU.
  • Батчи текстов в одном запросе /v1/embeddings эффективнее по-одиночному.
  • Замер — llama-bench (pp и есть ваша метрика).

Что читать дальше

Эмбеддинги: концепт → server-api; ассистент справочника использует этот путь — SPEC.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию