LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Сэмплирование

Сэмплирование

Коротко: после каждого прохода модель выдаёт логиты — оценку правдоподобия всех токенов словаря. Сэмплирование решает, какой из них выбрать: детерминированно «самый вероятный» или случайно из отфильтрованного распределения. От этой настройки зависит стиль генерации больше, чем от чего-либо ещё.

Конвейер: от логитов к токену

flowchart LR
  L[логиты] --> P[штрафы повторов<br>penalties, DRY]
  P --> K[top-k<br>оставить k лучших]
  K --> T[typical / top-p<br>обрезать «хвост»]
  T --> M[min-p<br>доля от лидера]
  M --> X[xtc<br>иногда убрать самый вероятный]
  X --> TEM[temperature<br>резкость распределения]
  TEM --> S[softmax → выбор<br>seed управляет случайностью]

Диаграмма mermaid отрисовывается скриптом; если виден только исходник — JS в браузере отключён или не загрузился.

Цепочка выше — фактический порядок сэмплеров llama.cpp v1.0.0: penalties;dry;top_n_sigma;top_k;typ_p;top_p;min_p;xtc;temperature.

  • Фильтры (top-k/top-p/min-p/xtc/typical) удаляют маловероятные кандидаты до температуры — чтобы случайность не выбирала мусор.
  • Temperature — делитель логитов: t→0 — распределение «заостряется» к лидеру; t>1 — сглаживается, растёт разнообразие.
  • Жадное декодирование (t=0 и без фильтров) — всегда лидер: детерминированно, но склонно к зацикливанию и «сухим» текстам.
  • Seed — та же настройка + тот же промпт = тот же ответ; нужен для повторяемых экспериментов.

Почему нельзя «просто взять максимум»

На пике распределения — шаблонные формулировки и петли («дай список» — бесконечные списки). Слишком широкое сэмплирование (высокая t без фильтров) — бред. Вся практика сэмплирования — поиск середины: см. карточки в Параметрах сэмплирования.

Штрафы повторов — отдельная семья

repeat_penalty, presence_penalty, frequency_penalty и DRY понижают вероятность токенов, уже встречавшихся в недавнем окне (типично 64 токена). Полезно против петель, опасно в коде/именах, где повтор законен. См. lcp.sampler-flags.

Ограниченный выбор

Можно не фильтровать, а запретить: грамматика/JSON-схема маскируют логиты до сэмплирования так, что запрещённые токены невозможны — Ограниченное декодирование.

Связь с llama.cpp

Флаги и их дефолты (v1.0.0) — в карточках p.temperature, p.top-k, p.top-p, p.min-p и в Флагах сэмплирования; их же можно менять на лету полем top_k/temperature/… в запросе к серверу — HTTP API.

Что читать дальше

Параметры сэмплирования → Ограниченное декодирование.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию