Главная / llama.cpp Handbook / Общие флаги: модель, контекст, железо, память
Общие флаги: модель, контекст, железо, память
Дефолты — v1.0.0, источник: автоген-help tools/cli/README.md. Карточки с
полной семантикой — parameters.yaml.
Переменные окружения LLAMA_ARG_* зеркалят флаги (аргумент > env).
Модель
| Флаг | Дефолт | Что делает |
|---|---|---|
-m, --model FNAME |
— | путь к GGUF |
-hf <user>/<model>[:quant] |
— | скачать из HF (дефолт-квант Q4_K_M; mmproj автоматически) |
-mu URL / -dr repo |
— | скачать по URL / из Docker Hub |
--alias NAME |
— | имя модели для API (-a) |
--shard F[,F…] (--ple) |
— | дополнительные шарды GGUF (напр. PLE-таблицы) |
--check-tensors |
off | валидация данных тензоров при загрузке |
Контекст и генерация
| Флаг | Дефолт | Что делает |
|---|---|---|
-c, --ctx-size N |
0 = из модели | размер окна (контекст); у сервера делится между слотами |
-n, --n-predict N |
-1 = ∞ | лимит токенов ответа |
--keep N |
0 | сколько токенов начала промпта сохранять при вытеснении |
--context-shift / --no-context-shift |
disabled | скользящее окно при бесконечной генерации (v1.0.0: по умолчанию ВЫКЛ) |
--rope-scaling {none,linear,yarn} + --rope-scale, --rope-freq-base/scale, --yarn-* |
linear, если не задано моделью | RoPE-масштабирование |
Железо (CPU)
| Флаг | Дефолт | Что делает |
|---|---|---|
-t, --threads N |
-1 (авто) | потоки генерации (perf-tuning) |
-tb, --threads-batch N |
= --threads |
потоки батч/префилла |
-C/--cpu-mask, -Cr/--cpu-range, --cpu-strict, --prio, --poll |
— | аффинити/приоритет/поллинг (варианты -Cb/-Crb/…-batch для префилла) |
--numa {distribute,isolate,numactl} |
off | оптимизации NUMA |
GPU и оффлоад
| Флаг | Дефолт | Что делает |
|---|---|---|
-ngl, --gpu-layers N |
auto | слоёв в VRAM: число/auto/all (gpu-offload) |
-fa, --flash-attn {on,off,auto} |
auto | FlashAttention; нужен для квантованного KV-кэша (docs/multi-gpu.md подтверждает для V; для K — практика: сверяйте) |
-ctk/-ctv TYPE |
f16 | тип K/V KV-кэша: f32,f16,bf16,f8_e4m3,q8_0,q4_0,q4_1,iq4_nl,q5_0,q5_1 (KV-кэш) |
-sm {none,layer,row,tensor} |
layer | режим разбивки по GPU (row/tensor — параллельные, tensor = experimental) |
-ts N0,N1,… |
— | пропорции разбиения между GPU |
-mg INDEX, -dev D1,D2, --list-devices |
— | главный GPU / список устройств |
-fit [on|off], -fitt MiB, -fitc N |
on (маркер 1024 MiB, min ctx 4096) | авто-подгонка unset-аргументов под память устройств (v1.0.0) |
-cmoe/--cpu-moe (все эксперты), -ncmoe/--n-cpu-moe N (первые N слоёв), --moe-cache-mib/--moe-cache-cpu-share |
off/0 | MoE-веса на CPU + кэш экспертов на GPU (moe-cache.md) |
Память и загрузка
| Флаг | Дефолт | Что делает |
|---|---|---|
-lm, --load-mode MODE |
auto | auto/none/mmap/mlock/mmap+mlock/dio — заменил --no-mmap/--mlock старых версий |
-lzm, --lazy-mode |
auto | чтение редких тензоров с диска по требованию (auto = для >4 GiB) |
-kvo/--kv-offload, -nkvo |
enabled | KV-кэш на GPU вместе со слоями |
-cram MiB |
8192 | лимит prompt-кэша RAM (0/-1 спецзначения) |
Батчинг
| Флаг | Дефолт | Что делает |
|---|---|---|
-b, --batch-size N |
2048 | логический батч (батчинг) |
-ub, --ubatch-size N |
512 | физический микро-батч (скорость префилла vs пиковая память) |
-np, --parallel N |
CLI 1 / server auto | слоты/параллельные последовательности |
Сервер-специфичные
--host (127.0.0.1), --port (9931), --api-key[-file], --ssl-*, --cors-*,
--metrics, --props, --slots, --timeout 3600, --threads-http, webui-флаги —
полный список в llama-server и tools/server/README.md.
Диагностика/лог
-lv N (verbosity 0–5, дефолт 3), -v (всё), --log-file, --log-jsonl,
--log-colors [on|off|auto] (выключение — off), --offline — базовые инструменты
troubleshooting.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.