Главная / llama.cpp Handbook / Флаги сэмплирования
Флаги сэмплирования
Концепт и «как выбирать» — Сэмплирование и карточки
sampling-params. Здесь — флаги и дефолты v1.0.0
(источник: help). Все эти параметры доступны и в запросе к серверу
(temperature, top_k, …) — server-api.
Цепочка и её порядок
--samplers "penalties;dry;top_n_sigma;top_k;typ_p;top_p;min_p;xtc;temperature" # дефолт
--sampler-seq edskypmxt # короткая форма последовательности
Меняйте порядок/состав только осознанно; выключение сэмплера в цепочке = его «нейтральное» значение.
Основные
| Флаг | Дефолт | Что делает |
|---|---|---|
--temp N |
0.80 | temperature |
--top-k N |
40 (0=off) | k лучших кандидатов |
--top-p N |
0.95 (1.0=off) | nucleus-фильтр |
--min-p N |
0.05 (0.0=off) | доля от лидера |
-s, --seed N |
-1 (random) | воспроизводимость |
Штрафы повторов
| Флаг | Дефолт | Что делает |
|---|---|---|
--repeat-penalty N |
1.00 (=off) | множитель штрафа за повторы |
--repeat-last-n N |
64 (0=off) | окно учёта повторов |
--presence-penalty N |
0.00 | штраф факта появления |
--frequency-penalty N |
0.00 | штраф пропорционально частоте |
--dry-multiplier N |
0.00 (=off) | DRY — штраф повторяющихся последовательностей |
--dry-base N |
1.75 | сила DRY |
--dry-allowed-length N |
2 | длина допустимого повтора |
--dry-penalty-last-n N |
64 | окно DRY |
--dry-sequence-breaker S |
\n,:,",* |
разделители (сброс дефолтов: none) |
Против зацикливания: начните с DRY (--dry-multiplier 0.8) — он точнее бьёт по
длинным повторам, чем repeat-penalty, и не ломает код.
Остальные сэмплеры (v1.0.0)
| Флаг | Дефолт | Что делает |
|---|---|---|
--top-nsigma N |
-1.00 (=off) | оставить токены в ±nσ от максимума |
--typical N |
1.00 (=off) | locally-typical фильтр |
--xtc-probability N |
0.00 | вероятность сработать |
--xtc-threshold N |
0.10 | убрать самый вероятный токен (если он выше порога) — «антишаблонность» |
--adaptive-target/-decay N |
-1.00 / 0.90 | adaptive-p (подстройка целевой вероятности) |
--dynatemp-range/-exp N |
0.00 / 1.00 | динамическая temperature по энтропии |
--mirostat N, --mirostat-lr/-ent |
0 (=off), 0.10, 5.00 | контроль «удивления» на лету (Mirostat 1/2); выключает top-k/top-p/typical |
-l, --logit-bias TOKEN(+/-)BIAS |
— | сдвиг вероятности конкретного токена; --ignore-eos = EOS−∞ |
Структурированный вывод
| Флаг | Что делает |
|---|---|
--grammar TEXT / --grammar-file F |
GBNF-грамматика (grammar) |
-j SCHEMA / -jf FILE |
JSON Schema → компиляция в грамматику |
-bs, --backend-sampling |
experimental: сэмплирование на GPU-бэкенде |
Готовые пресеты (напоминание)
Код/факты: --temp 0.2 · чат: дефолты v1.0.0 · креатив:
--temp 1.1 --min-p 0.08 --xtc-probability 0.5. Полная таблица с обоснованием —
sampling-params.
Диагностика стиля
Мусор/повторы после смены настроек — маршрут diag-quality (различаем: сэмплеры vs квант vs шаблон).
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.