LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Глоссарий

Глоссарий 52 терминов

Базовые понятия

g.llm LLM

большая языковая модель: трансформер, предсказывающий следующий токен; обучен на огромных корпусах текста

Статья: llm.what-is-llm · Страница термина
g.inference инференс

выполнение обученной модели — получение выходов по входу, в отличие от обучения

Статья: llm.inference · Страница термина
g.autoregression авторегрессия

принцип работы LLM: каждый новый токен предсказывается из всех предыдущих

Статья: llm.inference · Страница термина
g.transformer transformer

архитектура на механизме внимания; основа всех современных LLM

Статья: llm.transformer · Страница термина
g.embedding embedding / эмбеддинги

плотный вектор, кодирующий токен или текст; близость векторов ≈ близость смыслов

Статья: llm.embeddings · Страница термина
g.context-window context window

максимум токенов (промпт + ответ), которые модель видит одновременно

Статья: llm.context-window · Страница термина
g.system-prompt системный промпт

инструкция в начале диалога, задающая поведение модели

Статья: llm.chat-templates · Страница термина
g.chat-template chat template

разметка диалога (роли, спецтокены), на которой модель обучали; без неё «чат» — просто продолжение текста

Статья: llm.chat-templates · Страница термина

Токенизация

g.token токен

минимальная единица текста для модели: фрагмент слова, слово или символ; модель видит только токены

Статья: llm.tokenization · Страница термина
g.tokenizer токенизатор

программа сопоставления текста и последовательности токенов; хранится внутри GGUF

Статья: llm.tokenization · Страница термина
g.bpe BPE

Byte-Pair Encoding: частые пары символов склеиваются в токены, пока не наберётся словарь заданного размера

Статья: llm.tokenization · Страница термина
g.vocab словарь (vocabulary)

полный список токенов модели; размер определяет размер embedding-слоя

Статья: llm.tokenization · Страница термина
g.special-tokens спецтокены

служебные токены (BOS/EOS, маркеры ролей), не являющиеся обычным текстом

Статья: llm.chat-templates · Страница термина

Attention и архитектура

g.attention attention

механизм взвешивания всех позиций контекста при обработке каждой позиции

Статья: llm.attention · Страница термина
g.mha-gqa MHA / MQA / GQA / MLA

варианты организации голов внимания; GQA/MLA делят K/V между головами и уменьшают KV-кэш

Статья: llm.attention-variants · Страница термина
g.rope RoPE

ротари-эмбеддинги: позиции кодируются поворотами векторов; стандарт современных LLM

Статья: llm.rope-scaling · Страница термина
g.flash-attention FlashAttention

точный алгоритм attention без материализации полной матрицы n×n: быстрее и экономнее; в llama.cpp — флаг `-fa`

Статья: llm.attention · Страница термина
g.kv-cache KV-кэш

сохранённые K/V прошлых токенов, чтобы не пересчитывать attention на каждом шаге

Статья: llm.kv-cache · Страница термина

Инференс и производительность

g.prefill префилл (prompt processing)

однократная обработка всего промпта перед началом генерации

Статья: llm.inference · Страница термина
g.decode декод (generation)

пошаговая генерация токенов ответа после префилла

Статья: llm.inference · Страница термина
g.tps tokens per second (t/s)

скорость генерации в токенах в секунду; основная метрика «быстроты»

Статья: lcp.perf-tuning · Страница термина
g.batch батч

группа запросов или токенов, обрабатываемая вместе ради утилизации железа

Статья: llm.batching · Страница термина
g.ubatch ubatch (микро-батч)

физический пакет токенов, реально укладываемый в один проход вычислений

Статья: llm.batching · Страница термина
g.continuous-batching continuous batching

слоты сервера дозаполняются новыми запросами, не дожидаясь завершения всей партии

Статья: llm.batching · Страница термина
g.vram VRAM

память видеокарты: должны вместиться веса + KV-кэш + буферы вычислений

Статья: lcp.gpu-offload · Страница термина
g.offload оффлоад слоёв

размещение части слоёв модели на GPU, остальных — в RAM (`-ngl`)

Статья: lcp.gpu-offload · Страница термина
g.mmap mmap

отображение файла модели в память: быстрый старт и ленивая загрузка; в llama.cpp v1.0.0 — часть режима `-lm auto` по умолчанию

Статья: lcp.common-flags · Страница термина
g.backend бэкенд

вычислительное ядро llama.cpp под конкретное API железа: CPU, CUDA, Vulkan, Metal, SYCL

Статья: lcp.backends · Страница термина

Сэмплирование

g.logits логиты

сырые оценки каждого токена словаря до softmax

Статья: llm.sampling · Страница термина
g.softmax softmax

функция, превращающая логиты в вероятности, суммирующиеся в 1

Статья: llm.sampling · Страница термина
g.sampling сэмплирование

выбор следующего токена из распределения вероятностей

Статья: llm.sampling · Страница термина
g.greedy жадное декодирование

всегда брать самый вероятный токен (temperature = 0): детерминированно, но склонно к зацикливанию

Статья: llm.sampling · Страница термина
g.temperature temperature

делитель логитов: ниже — увереннее и суше, выше — разнообразнее и рискованнее

Статья: llm.sampling-params · Страница термина
g.top-k top-k

отсечение: рассматривать только k самых вероятных токенов

Статья: llm.sampling-params · Страница термина
g.top-p top-p (nucleus)

отсечение: наименьший набор токенов с суммарной вероятностью ≥ p

Статья: llm.sampling-params · Страница термина
g.min-p min-p

отсечение: отбрасывать токены с вероятностью меньше p × максимум

Статья: llm.sampling-params · Страница термина
g.repeat-penalty repeat penalty

штраф повторов: понижение вероятности уже встречавшихся токенов

Статья: llm.sampling-params · Страница термина
g.seed seed

зерно ГПСЧ; фиксирует случайность сэмплирования для воспроизводимости

Статья: llm.sampling-params · Страница термина
g.constrained-decoding ограниченное декодирование

генерация, в которой запрещены токены вне грамматики или схемы

Статья: llm.constrained-decoding · Страница термина
g.gbnf GBNF

формат грамматик llama.cpp для ограничения вывода (JSON, регулярные структуры)

Статья: lcp.grammar · Страница термина

Квантование и форматы

g.quantization квантование

хранение весов в меньшей точности (int4/int8), чтобы модель стала меньше и быстрее

Статья: llm.quantization · Страница термина
g.gguf GGUF

формат-контейнер llama.cpp: тензоры + метаданные (архитектура, токенизатор, шаблон чата) в одном файле

Статья: lcp.gguf · Страница термина
g.quant-type тип квантования

именованная схема GGUF (Q4_0, Q4_K_M, Q8_0, IQ…): баланс размер/скорость/качество

Статья: lcp.quant-types · Страница термина
g.imatrix importance matrix

статистика активаций, помогающая I-квантам сохранять качество при сильном сжатии

Статья: lcp.quantize · Страница термина
g.perplexity перплексия

мера «удивления» модели текстом: ниже — лучше предсказывает; грубая метрика потерь при квантовании

Статья: llm.evaluation · Страница термина

Обучение и адаптация

g.pretraining предобучение

обучение модели с нуля на огромном корпусе по задаче «предскажи следующий токен»

Статья: llm.training · Страница термина
g.fine-tuning файнтюнинг

дообучение готовой модели на своих данных

Статья: llm.training · Страница термина
g.sft SFT

supervised fine-tuning: дообучение на парах «инструкция → ответ»; превращает base-модель в instruct

Статья: llm.training · Страница термина
g.rlhf RLHF / DPO

выравнивание модели с предпочтениями людей после SFT

Статья: llm.training · Страница термина
g.lora LoRA

низкоранговый адаптер: маленькая «надстройка» над весами вместо полного файнтюна

Статья: llm.lora · Страница термина

Ассистент и RAG

g.rag RAG

retrieval-augmented generation: LLM отвечает с опорой на найденные по запросу фрагменты знаний, а не только на «память» весов

Статья: assistant.spec · Страница термина
g.grounding grounding

привязка к источникам: ответ ассистента обязан опираться на цитаты из канонических материалов; факт без ссылки — дефект ответа

Статья: assistant.spec · Страница термина