LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Флаги сэмплирования

Флаги сэмплирования

Концепт и «как выбирать» — Сэмплирование и карточки sampling-params. Здесь — флаги и дефолты v1.0.0 (источник: help). Все эти параметры доступны и в запросе к серверу (temperature, top_k, …) — server-api.

Цепочка и её порядок

--samplers "penalties;dry;top_n_sigma;top_k;typ_p;top_p;min_p;xtc;temperature"  # дефолт
--sampler-seq edskypmxt   # короткая форма последовательности

Меняйте порядок/состав только осознанно; выключение сэмплера в цепочке = его «нейтральное» значение.

Основные

Флаг Дефолт Что делает
--temp N 0.80 temperature
--top-k N 40 (0=off) k лучших кандидатов
--top-p N 0.95 (1.0=off) nucleus-фильтр
--min-p N 0.05 (0.0=off) доля от лидера
-s, --seed N -1 (random) воспроизводимость

Штрафы повторов

Флаг Дефолт Что делает
--repeat-penalty N 1.00 (=off) множитель штрафа за повторы
--repeat-last-n N 64 (0=off) окно учёта повторов
--presence-penalty N 0.00 штраф факта появления
--frequency-penalty N 0.00 штраф пропорционально частоте
--dry-multiplier N 0.00 (=off) DRY — штраф повторяющихся последовательностей
--dry-base N 1.75 сила DRY
--dry-allowed-length N 2 длина допустимого повтора
--dry-penalty-last-n N 64 окно DRY
--dry-sequence-breaker S \n,:,",* разделители (сброс дефолтов: none)

Против зацикливания: начните с DRY (--dry-multiplier 0.8) — он точнее бьёт по длинным повторам, чем repeat-penalty, и не ломает код.

Остальные сэмплеры (v1.0.0)

Флаг Дефолт Что делает
--top-nsigma N -1.00 (=off) оставить токены в ±nσ от максимума
--typical N 1.00 (=off) locally-typical фильтр
--xtc-probability N 0.00 вероятность сработать
--xtc-threshold N 0.10 убрать самый вероятный токен (если он выше порога) — «антишаблонность»
--adaptive-target/-decay N -1.00 / 0.90 adaptive-p (подстройка целевой вероятности)
--dynatemp-range/-exp N 0.00 / 1.00 динамическая temperature по энтропии
--mirostat N, --mirostat-lr/-ent 0 (=off), 0.10, 5.00 контроль «удивления» на лету (Mirostat 1/2); выключает top-k/top-p/typical
-l, --logit-bias TOKEN(+/-)BIAS — сдвиг вероятности конкретного токена; --ignore-eos = EOS−∞

Структурированный вывод

Флаг Что делает
--grammar TEXT / --grammar-file F GBNF-грамматика (grammar)
-j SCHEMA / -jf FILE JSON Schema → компиляция в грамматику
-bs, --backend-sampling experimental: сэмплирование на GPU-бэкенде

Готовые пресеты (напоминание)

Код/факты: --temp 0.2 · чат: дефолты v1.0.0 · креатив: --temp 1.1 --min-p 0.08 --xtc-probability 0.5. Полная таблица с обоснованием — sampling-params.

Диагностика стиля

Мусор/повторы после смены настроек — маршрут diag-quality (различаем: сэмплеры vs квант vs шаблон).

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию