LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Общие флаги: модель, контекст, железо, память

Общие флаги: модель, контекст, железо, память

Дефолты — v1.0.0, источник: автоген-help tools/cli/README.md. Карточки с полной семантикой — parameters.yaml. Переменные окружения LLAMA_ARG_* зеркалят флаги (аргумент > env).

Модель

Флаг Дефолт Что делает
-m, --model FNAME — путь к GGUF
-hf <user>/<model>[:quant] — скачать из HF (дефолт-квант Q4_K_M; mmproj автоматически)
-mu URL / -dr repo — скачать по URL / из Docker Hub
--alias NAME — имя модели для API (-a)
--shard F[,F…] (--ple) — дополнительные шарды GGUF (напр. PLE-таблицы)
--check-tensors off валидация данных тензоров при загрузке

Контекст и генерация

Флаг Дефолт Что делает
-c, --ctx-size N 0 = из модели размер окна (контекст); у сервера делится между слотами
-n, --n-predict N -1 = ∞ лимит токенов ответа
--keep N 0 сколько токенов начала промпта сохранять при вытеснении
--context-shift / --no-context-shift disabled скользящее окно при бесконечной генерации (v1.0.0: по умолчанию ВЫКЛ)
--rope-scaling {none,linear,yarn} + --rope-scale, --rope-freq-base/scale, --yarn-* linear, если не задано моделью RoPE-масштабирование

Железо (CPU)

Флаг Дефолт Что делает
-t, --threads N -1 (авто) потоки генерации (perf-tuning)
-tb, --threads-batch N = --threads потоки батч/префилла
-C/--cpu-mask, -Cr/--cpu-range, --cpu-strict, --prio, --poll — аффинити/приоритет/поллинг (варианты -Cb/-Crb/…-batch для префилла)
--numa {distribute,isolate,numactl} off оптимизации NUMA

GPU и оффлоад

Флаг Дефолт Что делает
-ngl, --gpu-layers N auto слоёв в VRAM: число/auto/all (gpu-offload)
-fa, --flash-attn {on,off,auto} auto FlashAttention; нужен для квантованного KV-кэша (docs/multi-gpu.md подтверждает для V; для K — практика: сверяйте)
-ctk/-ctv TYPE f16 тип K/V KV-кэша: f32,f16,bf16,f8_e4m3,q8_0,q4_0,q4_1,iq4_nl,q5_0,q5_1 (KV-кэш)
-sm {none,layer,row,tensor} layer режим разбивки по GPU (row/tensor — параллельные, tensor = experimental)
-ts N0,N1,… — пропорции разбиения между GPU
-mg INDEX, -dev D1,D2, --list-devices — главный GPU / список устройств
-fit [on|off], -fitt MiB, -fitc N on (маркер 1024 MiB, min ctx 4096) авто-подгонка unset-аргументов под память устройств (v1.0.0)
-cmoe/--cpu-moe (все эксперты), -ncmoe/--n-cpu-moe N (первые N слоёв), --moe-cache-mib/--moe-cache-cpu-share off/0 MoE-веса на CPU + кэш экспертов на GPU (moe-cache.md)

Память и загрузка

Флаг Дефолт Что делает
-lm, --load-mode MODE auto auto/none/mmap/mlock/mmap+mlock/dio — заменил --no-mmap/--mlock старых версий
-lzm, --lazy-mode auto чтение редких тензоров с диска по требованию (auto = для >4 GiB)
-kvo/--kv-offload, -nkvo enabled KV-кэш на GPU вместе со слоями
-cram MiB 8192 лимит prompt-кэша RAM (0/-1 спецзначения)

Батчинг

Флаг Дефолт Что делает
-b, --batch-size N 2048 логический батч (батчинг)
-ub, --ubatch-size N 512 физический микро-батч (скорость префилла vs пиковая память)
-np, --parallel N CLI 1 / server auto слоты/параллельные последовательности

Сервер-специфичные

--host (127.0.0.1), --port (9931), --api-key[-file], --ssl-*, --cors-*, --metrics, --props, --slots, --timeout 3600, --threads-http, webui-флаги — полный список в llama-server и tools/server/README.md.

Диагностика/лог

-lv N (verbosity 0–5, дефолт 3), -v (всё), --log-file, --log-jsonl, --log-colors [on|off|auto] (выключение — off), --offline — базовые инструменты troubleshooting.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию