Главная / llama.cpp Handbook / Эмбеддинги: получение векторов
Эмбеддинги: получение векторов
Концепт — Эмбеддинги. Практика: взять embedding-модель (GGUF), поднять сервер в режиме эмбеддингов и получать векторы по HTTP.
Режим эмбеддингов
# сервер: только embedding-сценарий (дедicated embedding-модель!)
llama-server -m embed-model.gguf --embeddings
# аналог без HTTP
llama-embedding -m embed-model.gguf -p "текст"
--embedding/--embeddings ограничивает сервер этим use-case (v1.0.0 help). Важно:
embedding-модель и чат-модель — разные модели; нельзя одной и той же GGUF качественно
делать и то и другое (почему).
Pooling: как из токенов получить один вектор
--pooling |
Смысл | Для чего |
|---|---|---|
mean |
среднее по токенам | частый дефолт для sentence-моделей |
cls |
вектор [CLS]-токена | BERT-семейства |
last |
последний токен | авторегрессионные embedding-модели |
rank |
режим реранкинга | для --reranking |
none |
сырые токен-векторы | отладка |
Дефолт — из модели (метаданные GGUF знают правильный pooling); менять только если
точно знаете. Нормализация: --embd-normalize 2 (дефолт, евклидова) — нужна для
косинусной близости.
API
# нативный эндпоинт
curl http://127.0.0.1:9931/embedding -H "Content-Type: application/json" \
-d '{"content":"как погода в Москве сегодня"}'
# OpenAI-совместимый
curl http://127.0.0.1:9931/v1/embeddings -H "Content-Type: application/json" \
-d '{"input":["текст один","текст два"]}'
# реранкинг найденного (нужен запуск с --reranking)
curl http://127.0.0.1:9931/reranking -H "Content-Type: application/json" \
-d '{"query":"что такое KV-кэш","documents":["статья про KV","рецепт блинов"]}'
Полный список эндпоинтов — server-api.
Типовой конвейер RAG
- Индексация: чанки документов →
/v1/embeddings→ векторная БД. - Поиск: запрос → вектор → k ближайших чанков.
- Реранкинг (опционально): пары «запрос-чанк» →
/reranking→ топ-3. - Генерация: чат-модель (другой сервер/порт) с найденными чанками в промпте — llama-server.
Производительность
- Эмбеддинги — сплошной префилл: ускоряются
-ub,-fa, GPU. - Батчи текстов в одном запросе
/v1/embeddingsэффективнее по-одиночному. - Замер — llama-bench (pp и есть ваша метрика).
Что читать дальше
Эмбеддинги: концепт → server-api; ассистент справочника использует этот путь — SPEC.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.