Глоссарий 52 терминов
Базовые понятия
g.llm LLMбольшая языковая модель: трансформер, предсказывающий следующий токен; обучен на огромных корпусах текста
g.inference инференсвыполнение обученной модели — получение выходов по входу, в отличие от обучения
g.autoregression авторегрессияпринцип работы LLM: каждый новый токен предсказывается из всех предыдущих
g.transformer transformerархитектура на механизме внимания; основа всех современных LLM
g.embedding embedding / эмбеддингиплотный вектор, кодирующий токен или текст; близость векторов ≈ близость смыслов
g.context-window context windowмаксимум токенов (промпт + ответ), которые модель видит одновременно
g.system-prompt системный промптинструкция в начале диалога, задающая поведение модели
g.chat-template chat templateразметка диалога (роли, спецтокены), на которой модель обучали; без неё «чат» — просто продолжение текста
Токенизация
g.token токенминимальная единица текста для модели: фрагмент слова, слово или символ; модель видит только токены
g.tokenizer токенизаторпрограмма сопоставления текста и последовательности токенов; хранится внутри GGUF
g.bpe BPEByte-Pair Encoding: частые пары символов склеиваются в токены, пока не наберётся словарь заданного размера
g.vocab словарь (vocabulary)полный список токенов модели; размер определяет размер embedding-слоя
g.special-tokens спецтокеныслужебные токены (BOS/EOS, маркеры ролей), не являющиеся обычным текстом
Attention и архитектура
g.attention attentionмеханизм взвешивания всех позиций контекста при обработке каждой позиции
g.mha-gqa MHA / MQA / GQA / MLAварианты организации голов внимания; GQA/MLA делят K/V между головами и уменьшают KV-кэш
g.rope RoPEротари-эмбеддинги: позиции кодируются поворотами векторов; стандарт современных LLM
g.flash-attention FlashAttentionточный алгоритм attention без материализации полной матрицы n×n: быстрее и экономнее; в llama.cpp — флаг `-fa`
g.kv-cache KV-кэшсохранённые K/V прошлых токенов, чтобы не пересчитывать attention на каждом шаге
Инференс и производительность
g.prefill префилл (prompt processing)однократная обработка всего промпта перед началом генерации
g.decode декод (generation)пошаговая генерация токенов ответа после префилла
g.tps tokens per second (t/s)скорость генерации в токенах в секунду; основная метрика «быстроты»
g.batch батчгруппа запросов или токенов, обрабатываемая вместе ради утилизации железа
g.ubatch ubatch (микро-батч)физический пакет токенов, реально укладываемый в один проход вычислений
g.continuous-batching continuous batchingслоты сервера дозаполняются новыми запросами, не дожидаясь завершения всей партии
g.vram VRAMпамять видеокарты: должны вместиться веса + KV-кэш + буферы вычислений
g.offload оффлоад слоёвразмещение части слоёв модели на GPU, остальных — в RAM (`-ngl`)
g.mmap mmapотображение файла модели в память: быстрый старт и ленивая загрузка; в llama.cpp v1.0.0 — часть режима `-lm auto` по умолчанию
g.backend бэкендвычислительное ядро llama.cpp под конкретное API железа: CPU, CUDA, Vulkan, Metal, SYCL
Сэмплирование
g.logits логитысырые оценки каждого токена словаря до softmax
g.softmax softmaxфункция, превращающая логиты в вероятности, суммирующиеся в 1
g.sampling сэмплированиевыбор следующего токена из распределения вероятностей
g.greedy жадное декодированиевсегда брать самый вероятный токен (temperature = 0): детерминированно, но склонно к зацикливанию
g.temperature temperatureделитель логитов: ниже — увереннее и суше, выше — разнообразнее и рискованнее
g.top-k top-kотсечение: рассматривать только k самых вероятных токенов
g.top-p top-p (nucleus)отсечение: наименьший набор токенов с суммарной вероятностью ≥ p
g.min-p min-pотсечение: отбрасывать токены с вероятностью меньше p × максимум
g.repeat-penalty repeat penaltyштраф повторов: понижение вероятности уже встречавшихся токенов
g.seed seedзерно ГПСЧ; фиксирует случайность сэмплирования для воспроизводимости
g.constrained-decoding ограниченное декодированиегенерация, в которой запрещены токены вне грамматики или схемы
g.gbnf GBNFформат грамматик llama.cpp для ограничения вывода (JSON, регулярные структуры)
Квантование и форматы
g.quantization квантованиехранение весов в меньшей точности (int4/int8), чтобы модель стала меньше и быстрее
g.gguf GGUFформат-контейнер llama.cpp: тензоры + метаданные (архитектура, токенизатор, шаблон чата) в одном файле
g.quant-type тип квантованияименованная схема GGUF (Q4_0, Q4_K_M, Q8_0, IQ…): баланс размер/скорость/качество
g.imatrix importance matrixстатистика активаций, помогающая I-квантам сохранять качество при сильном сжатии
g.perplexity перплексиямера «удивления» модели текстом: ниже — лучше предсказывает; грубая метрика потерь при квантовании
Обучение и адаптация
g.pretraining предобучениеобучение модели с нуля на огромном корпусе по задаче «предскажи следующий токен»
g.fine-tuning файнтюнингдообучение готовой модели на своих данных
g.sft SFTsupervised fine-tuning: дообучение на парах «инструкция → ответ»; превращает base-модель в instruct
g.rlhf RLHF / DPOвыравнивание модели с предпочтениями людей после SFT
g.lora LoRAнизкоранговый адаптер: маленькая «надстройка» над весами вместо полного файнтюна
Ассистент и RAG
g.rag RAGretrieval-augmented generation: LLM отвечает с опорой на найденные по запросу фрагменты знаний, а не только на «память» весов
g.grounding groundingпривязка к источникам: ответ ассистента обязан опираться на цитаты из канонических материалов; факт без ссылки — дефект ответа