Главная / LLM Handbook / Параметры сэмплирования (карточки)
Параметры сэмплирования (карточки)
Справочные карточки. Дефолты — llama.cpp v1.0.0; флаги CLI и поля API — в Флагах сэмплирования. Концепт — Сэмплирование.
Источник чисел: машиночитаемый слой parameters.yaml — единственный источник дефолтов и диапазонов; эта страница — человекочитаемый снимок на дату
last_reviewed. Динамический рендер карточек: страницыp.*.
temperature — «резкость» распределения
| Дефолт (v1.0.0) | 0.80 |
| Диапазон | 0…∞ (0 = жадное декодирование) |
| Влияет на | разнообразие vs связность |
- 0 — детерминированно, для фактов/кода/JSON (но возможны петли).
- 0.5–0.8 — рабочая зона для ответов и кода.
- 1.0–1.2 — более живые тексты; с ростом t без фильтров растёт доля бреда.
- Частая ошибка: t=1.2+ при выключенных фильтрах → мусор; держите min-p/top-p включёнными.
top-k — «только k лучших кандидатов»
| Дефолт (v1.0.0) | 40 (0 = отключен) |
| Смысл | оставить k токенов с наибольшими вероятностями |
- Словарь огромен; k=40 уже жёсткое отсечение хвоста.
- Хорош для стабильности; слишком мал (5–10) — шаблонность.
top-p (nucleus) — «ядро вероятностной массы»
| Дефолт (v1.0.0) | 0.95 (1.0 = отключен) |
| Смысл | наименьший набор токенов с суммарной вероятностью ≥ p |
- Адаптивен: на уверенном шаге ядро узкое, на развилке — широкое.
- Типичная ошибка: top-p вместе с очень высокой temperature без min-p.
min-p — «доля от лидера»
| Дефолт (v1.0.0) | 0.05 (0.0 = отключен) |
| Смысл | отсекать кандидатов с p < min_p × p(лидера) |
- Считается более устойчивым при высоких temperature: чем уверен модель, тем жёстче фильтр. Популярная связка сообщества: t≈1.0–1.3 + min-p 0.05–0.1.
repeat penalty — против петель
| Дефолт (v1.0.0) | 1.00 (отключен!) |
| Окно повтора | repeat-last-n = 64 |
| Смежные | presence/frequency penalty = 0.00; DRY (multiplier 0.00) |
1 — понижать шанс повторов. 1.05–1.15 мягко; выше ломает легальные повторы (код, имена, стихи).
- v1.0.0 по умолчанию выключен — если «зациклилось», начните с 1.1 и/или DRY.
seed — воспроизводимость
| Дефолт (v1.0.0) | -1 = случайный |
| Смысл | фиксирует ГПСЧ сэмплирования |
Одинаковые seed + промпт + настройки = идентичный вывод (на той же сборке/железе). Обязательно для eval-наборов и сравнения настроек.
Готовые наборы (стартовые точки, не истина)
| Задача | t | top-k | top-p | min-p | repeat-penalty |
|---|---|---|---|---|---|
| Код/факты/JSON | 0–0.3 | 40 | 0.95 | 0.05 | 1.0 |
| Рабочий чат | 0.7–0.9 | 40 | 0.95 | 0.05 | 1.0–1.1 |
| Креатив/брейншторм | 1.0–1.3 | 40–80 | 1.0 | 0.05–0.1 | 1.0 |
Проверить эффект замеров не выйдет — только просмотром генераций на своих промптах; о мусоре и повторах после смены кванта — diag-quality.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.