LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Эмбеддинги

Эмбеддинги

Коротко: embedding — вектор, кодирующий смысл текста числами. «Близкие по смыслу» тексты дают близкие векторы, и поиск по смыслу превращается в поиск ближайших векторов.

Два разных «эмбеддинга»

  1. Внутренние (token embeddings) — таблица «токен → вектор» внутри трансформера, первый слой модели. Служат входом вычислений; наружу их обычно не отдают.
  2. Текстовые (sentence embeddings) — вектор всего текста, который модель (специально обученная) выдаёт после обработки: последний скрытый слой, агрегированный по токенам (pooling: mean/cls/last). Именно их сравнивают для поиска.

Эта статья — про вторые. Главное отличие от генерации: на выходе не текст, а массив чисел фиксированной длины (типично 384–4096).

Почему близость = похожесть

Специальные embedding-модели обучаются так, чтобы похожие пары (вопрос↔ответ, запрос↔документ, дубликаты) давали близкие векторы, а непохожие — далёкие (контрастивное обучение). Тогда:

сходство(текст_A, текст_B) ≈ косинус_угла(vec_A, vec_B)

Типичное применение — RAG: базу документов индексируют векторами, по запросу пользователя находят k ближайших фрагментов и передают их генерирующей модели в контекст.

Ограничения, о которых надо знать

  • Генерирующая модель ≠ embedding-модель. Вектор «большой» LLM «в лоб» часто хуже, чем у небольшой специализированной модели (обучалась именно на этом).
  • Разные модели — разные «пространства»: векторы разных моделей нельзя сравнивать между собой.
  • Длина текста ограничена контекстом embedding-модели (часто меньше, чем у генераторов); длинный документ нарезают на чанки.
  • Для порядка результатов после векторного поиска полезен реранкинг — llama.cpp умеет /reranking см. Эмбеддинги в llama.cpp.

Связь с llama.cpp

  • Один и тот же движок умеет и генерировать, и считать эмбеддинги: режим --embeddings у llama-server / утилита llama-embedding; endpoint /embedding (OpenAI-совместимый /v1/embeddings); pooling задаётся --pooling. Практика — Эмбеддинги: получение векторов, API — HTTP API llama-server.
  • Именно этот путь использует ассистент справочника для retrieval — см. SPEC ассистента.

Что читать дальше

Контекстное окно (чанки и их размер) → Эмбеддинги в llama.cpp.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию