LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Параметры сэмплирования (карточки)

Параметры сэмплирования (карточки)

Справочные карточки. Дефолты — llama.cpp v1.0.0; флаги CLI и поля API — в Флагах сэмплирования. Концепт — Сэмплирование.

Источник чисел: машиночитаемый слой parameters.yaml — единственный источник дефолтов и диапазонов; эта страница — человекочитаемый снимок на дату last_reviewed. Динамический рендер карточек: страницы p.*.

temperature — «резкость» распределения

Дефолт (v1.0.0) 0.80
Диапазон 0…∞ (0 = жадное декодирование)
Влияет на разнообразие vs связность
  • 0 — детерминированно, для фактов/кода/JSON (но возможны петли).
  • 0.5–0.8 — рабочая зона для ответов и кода.
  • 1.0–1.2 — более живые тексты; с ростом t без фильтров растёт доля бреда.
  • Частая ошибка: t=1.2+ при выключенных фильтрах → мусор; держите min-p/top-p включёнными.

top-k — «только k лучших кандидатов»

Дефолт (v1.0.0) 40 (0 = отключен)
Смысл оставить k токенов с наибольшими вероятностями
  • Словарь огромен; k=40 уже жёсткое отсечение хвоста.
  • Хорош для стабильности; слишком мал (5–10) — шаблонность.

top-p (nucleus) — «ядро вероятностной массы»

Дефолт (v1.0.0) 0.95 (1.0 = отключен)
Смысл наименьший набор токенов с суммарной вероятностью ≥ p
  • Адаптивен: на уверенном шаге ядро узкое, на развилке — широкое.
  • Типичная ошибка: top-p вместе с очень высокой temperature без min-p.

min-p — «доля от лидера»

Дефолт (v1.0.0) 0.05 (0.0 = отключен)
Смысл отсекать кандидатов с p < min_p × p(лидера)
  • Считается более устойчивым при высоких temperature: чем уверен модель, тем жёстче фильтр. Популярная связка сообщества: t≈1.0–1.3 + min-p 0.05–0.1.

repeat penalty — против петель

Дефолт (v1.0.0) 1.00 (отключен!)
Окно повтора repeat-last-n = 64
Смежные presence/frequency penalty = 0.00; DRY (multiplier 0.00)
  • 1 — понижать шанс повторов. 1.05–1.15 мягко; выше ломает легальные повторы (код, имена, стихи).

  • v1.0.0 по умолчанию выключен — если «зациклилось», начните с 1.1 и/или DRY.

seed — воспроизводимость

Дефолт (v1.0.0) -1 = случайный
Смысл фиксирует ГПСЧ сэмплирования

Одинаковые seed + промпт + настройки = идентичный вывод (на той же сборке/железе). Обязательно для eval-наборов и сравнения настроек.

Готовые наборы (стартовые точки, не истина)

Задача t top-k top-p min-p repeat-penalty
Код/факты/JSON 0–0.3 40 0.95 0.05 1.0
Рабочий чат 0.7–0.9 40 0.95 0.05 1.0–1.1
Креатив/брейншторм 1.0–1.3 40–80 1.0 0.05–0.1 1.0

Проверить эффект замеров не выйдет — только просмотром генераций на своих промптах; о мусоре и повторах после смены кванта — diag-quality.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию