Главная / LLM Handbook
LLM Handbook
Что такое LLM
conceptbase
llm.what-is-llm
Какую модель развернуть: выбор под задачу и железо
comparisonbase
llm.model-selection
Токенизация
conceptbase
llm.tokenization
Архитектура Transformer
conceptcore
llm.transformer
Attention
conceptcore
llm.attention
MHA, MQA, GQA, MLA — варианты attention
comparisondeep
llm.attention-variants
Эмбеддинги
conceptbase
llm.embeddings
Контекстное окно
conceptbase
llm.context-window
RoPE и масштабирование контекста
conceptdeep
llm.rope-scaling
Инференс: префилл и декод
conceptcore
llm.inference
KV-кэш
conceptcore
llm.kv-cache
Батчинг инференса
conceptcore
llm.batching
Сэмплирование
conceptcore
llm.sampling
Параметры сэмплирования (карточки)
referencecore
llm.sampling-params
Квантование
conceptcore
llm.quantization
Чат-шаблоны
conceptbase
llm.chat-templates
Ограниченное декодирование
conceptdeep
llm.constrained-decoding
LoRA
conceptdeep
llm.lora
Как обучают LLM
conceptcore
llm.training
Оценка качества
conceptcore
llm.evaluation