# Карточки параметров — единый источник истины для статей (lcp.common-flags, # lcp.sampler-flags, llm.sampling-params) и ассистента. # # ВЕРИФИЦИРОВАНО по llama.cpp v1.0.0 (пиннинг 2026-11-15; коммит b1b770d). # Источник дефолтов: tools/cli/README.md + tools/server/README.md (автоген help # на теге v1.0.0); арбитр спорных мест — common/arg.cpp того же коммита. # Соответствие «параметр → флаг» синхронизировано с shared/crossmap/CROSSMAP.md (раздел B). schema: id: "p." summary: одна строка — что делает cli: флаг llama-cli (или null) server: {where: request|startup|none, field: имя поля/флага} concept: связанный концепт/термин (ID или null) default: значение по умолчанию (строка, как в help v1.0.0) range: допустимые значения / ограничения notes: важные зависимости и поведение version: "v1.0.0" verified: true parameters: # ---- Сэмплирование ---- - id: p.temperature summary: разогрев/остывание распределения вероятностей cli: --temp, --temperature server: {where: request, field: temperature} concept: llm.sampling default: "0.80" range: ">= 0; 0 = жадное декодирование" notes: "последний шаг цепочки сэмплеров перед softmax" - id: p.top-k summary: рассматривать только k самых вероятных токенов cli: --top-k server: {where: request, field: top_k} concept: llm.sampling default: "40" range: "0 = отключен" notes: "" - id: p.top-p summary: ядро вероятностной массы (nucleus) cli: --top-p server: {where: request, field: top_p} concept: llm.sampling default: "0.95" range: "1.0 = отключен" notes: "" - id: p.min-p summary: отсечение по доле от вероятности лидера cli: --min-p server: {where: request, field: min_p} concept: llm.sampling default: "0.05" range: "0.0 = отключен" notes: "при высокой temperature хорошо удерживает связность" - id: p.seed summary: зерно ГПСЧ для воспроизводимости сэмплирования cli: -s, --seed server: {where: request, field: seed} concept: llm.sampling default: "-1 (случайный)" range: "любое целое" notes: "фиксируйте для повторяемых экспериментов (eval ассистента)" - id: p.repeat-penalty summary: множитель-штраф за повтор уже сгенерированных токенов cli: --repeat-penalty server: {where: request, field: repeat_penalty} concept: llm.sampling default: "1.00 (отключен)" range: "1.0 = отключен; >1 штрафует повторы" notes: "окно повтора: p.repeat-last-n (default 64); есть также presence/frequency penalty (0.00)" # ---- Контекст и генерация ---- - id: p.ctx-size summary: размер контекстного окна cli: -c, --ctx-size server: {where: startup, field: --ctx-size} concept: llm.context-window default: "0 = взять из модели" range: "определяет память KV-кэша" notes: "переполнение: context shift по умолчанию ВЫКЛ (p.context-shift); сервер разделяет -c между слотами" - id: p.n-predict summary: лимит токенов генерации cli: -n, --predict, --n-predict server: {where: request, field: n_predict} concept: llm.inference default: "-1 = без ограничения" range: "" notes: "" - id: p.context-shift summary: сдвиг контекста при бесконечной генерации cli: --context-shift, --no-context-shift server: {where: startup, field: --context-shift} concept: llm.context-window default: "disabled" range: "on/off" notes: "v1.0.0: по умолчанию выключен; при переполнении — ошибка/остановка, а не сдвиг" # ---- Сеть / сервер ---- - id: p.host summary: адрес(а), которые слушает llama-server (TCP или unix-socket .sock) cli: null server: {where: startup, field: --host} concept: null default: "127.0.0.1" range: "можно несколько через запятую" notes: "чисто серверный параметр, без LLM-концепта" - id: p.port summary: порт llama-server cli: null server: {where: startup, field: --port} concept: null default: "9931" range: "" notes: "изменился относительно старых версий (был 8080)" - id: p.parallel summary: число слотов/параллельных последовательностей cli: -np, --parallel server: {where: startup, field: -np} concept: llm.batching default: "CLI: 1; server: -1 (auto)" range: "" notes: "слоты делят контекст; continuous batching включен по умолчанию (p.cont-batching)" - id: p.cont-batching summary: непрерывный батчинг запросов сервера cli: -cb, --cont-batching / -nocb, --no-cont-batching server: {where: startup, field: -cb} concept: llm.batching default: "enabled" range: "on/off" notes: "" - id: p.api-key summary: ключ(и) доступа к API сервера cli: null server: {where: startup, field: --api-key, --api-key-file} concept: null default: "none" range: "" notes: "для доступа не с localhost — обязательный минимум безопасности" # ---- Железо и память ---- - id: p.threads summary: CPU-потоки генерации cli: -t, --threads server: {where: startup, field: -t} concept: lcp.perf-tuning default: "-1 (авто)" range: "рекомендация: физические ядра" notes: "отдельно p.threads-batch (-tb) для префилла; env LLAMA_ARG_THREADS" - id: p.n-gpu-layers summary: сколько слоёв модели держать в VRAM cli: -ngl, --gpu-layers, --n-gpu-layers server: {where: startup, field: -ngl} concept: g.offload default: "auto" range: "число | 'auto' | 'all'" notes: "v1.0.0: auto сам подбирает; вместе с p.fit подстраивает unset-аргументы под память" - id: p.flash-attn summary: "FlashAttention: не материализовать матрицу внимания n×n" cli: -fa, --flash-attn server: {where: startup, field: -fa} concept: llm.attention default: "auto" range: "on | off | auto" notes: "v1.0.0: трёхзначный, не булев; нужен для квантованного KV (p.cache-type-k/v); поддержка зависит от бэкенда" - id: p.cache-type-k summary: тип данных K-части KV-кэша cli: -ctk, --cache-type-k server: {where: startup, field: -ctk} concept: llm.kv-cache default: "f16" range: "f32, f16, bf16, f8_e4m3, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1" notes: "квантованные типы требуют p.flash-attn" - id: p.cache-type-v summary: тип данных V-части KV-кэша cli: -ctv, --cache-type-v server: {where: startup, field: -ctv} concept: llm.kv-cache default: "f16" range: "f32, f16, bf16, f8_e4m3, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1" notes: "квантованные типы требуют p.flash-attn" - id: p.batch-size summary: логический макс. батч (обработка промпта) cli: -b, --batch-size server: {where: startup, field: -b} concept: llm.batching default: "2048" range: "" notes: "" - id: p.ubatch-size summary: физический макс. микро-батч вычислений cli: -ub, --ubatch-size server: {where: startup, field: -ub} concept: llm.batching default: "512" range: "" notes: "главный рычаг скорости префилла (g.prefill); растит пиковую память" - id: p.load-mode summary: "режим загрузки модели: mmap/mlock/dio" cli: -lm, --load-mode server: {where: startup, field: -lm} concept: g.mmap default: "auto" range: "auto, none, mmap, mlock, mmap+mlock, dio" notes: "v1.0.0: заменил отдельные --no-mmap/--mlock; mlock фиксирует модель в RAM" - id: p.fit summary: авто-подгонка неустановленных аргументов под память устройств cli: -fit, --fit server: {where: startup, field: -fit} concept: lcp.diag-oom default: "on" range: "on/off; -fitt маркер MiB (1024), -fitc минимальный ctx (4096)" notes: "v1.0.0: сам уменьшает контекст/оффлоад, чтобы влезть; может скрыть причину OOM-настройки" # ---- Позиционирование ---- - id: p.rope-scaling summary: режим растяжения контекста за обученную длину cli: --rope-scaling server: {where: startup, field: --rope-scaling} concept: llm.rope-scaling default: "linear (если не задано моделью)" range: "none, linear, yarn (+ --rope-scale, --rope-freq-base, --rope-freq-scale, --yarn-*)" notes: "NTK-подобное масштабирование — через --rope-freq-base" # ---- Шаблон чата и структурированный вывод ---- - id: p.chat-template summary: переопределение чат-шаблона (вместо шаблона из GGUF) cli: --chat-template, --chat-template-file server: {where: startup, field: --chat-template} concept: llm.chat-templates default: "шаблон из метаданных модели; jinja включен (--jinja on)" range: "имя builtin | inline jinja | файл; --chat-template-kwargs" notes: "неверный шаблон → err.chat-format; список builtin-имён в help" - id: p.grammar summary: ограничение вывода грамматикой или JSON-схемой cli: --grammar, --grammar-file; -j, --json-schema, -jf server: {where: request, field: grammar, json_schema} concept: llm.constrained-decoding default: "выключено" range: "GBNF-строка/файл | JSON Schema" notes: "опциональный бэкенд LLGuidance (сборка -DLLAMA_LLGUIDANCE=ON, грамматики %llguidance)"