Главная / LLM Handbook / Эмбеддинги
Эмбеддинги
Коротко: embedding — вектор, кодирующий смысл текста числами. «Близкие по смыслу» тексты дают близкие векторы, и поиск по смыслу превращается в поиск ближайших векторов.
Два разных «эмбеддинга»
- Внутренние (token embeddings) — таблица «токен → вектор» внутри трансформера, первый слой модели. Служат входом вычислений; наружу их обычно не отдают.
- Текстовые (sentence embeddings) — вектор всего текста, который модель (специально обученная) выдаёт после обработки: последний скрытый слой, агрегированный по токенам (pooling: mean/cls/last). Именно их сравнивают для поиска.
Эта статья — про вторые. Главное отличие от генерации: на выходе не текст, а массив чисел фиксированной длины (типично 384–4096).
Почему близость = похожесть
Специальные embedding-модели обучаются так, чтобы похожие пары (вопрос↔ответ, запрос↔документ, дубликаты) давали близкие векторы, а непохожие — далёкие (контрастивное обучение). Тогда:
сходство(текст_A, текст_B) ≈ косинус_угла(vec_A, vec_B)
Типичное применение — RAG: базу документов индексируют векторами, по запросу пользователя находят k ближайших фрагментов и передают их генерирующей модели в контекст.
Ограничения, о которых надо знать
- Генерирующая модель ≠ embedding-модель. Вектор «большой» LLM «в лоб» часто хуже, чем у небольшой специализированной модели (обучалась именно на этом).
- Разные модели — разные «пространства»: векторы разных моделей нельзя сравнивать между собой.
- Длина текста ограничена контекстом embedding-модели (часто меньше, чем у генераторов); длинный документ нарезают на чанки.
- Для порядка результатов после векторного поиска полезен реранкинг — llama.cpp
умеет
/rerankingсм. Эмбеддинги в llama.cpp.
Связь с llama.cpp
- Один и тот же движок умеет и генерировать, и считать эмбеддинги: режим
--embeddingsуllama-server/ утилитаllama-embedding; endpoint/embedding(OpenAI-совместимый/v1/embeddings); pooling задаётся--pooling. Практика — Эмбеддинги: получение векторов, API — HTTP API llama-server. - Именно этот путь использует ассистент справочника для retrieval — см. SPEC ассистента.
Что читать дальше
Контекстное окно (чанки и их размер) → Эмбеддинги в llama.cpp.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.