Сэмплирование
Коротко: после каждого прохода модель выдаёт логиты — оценку правдоподобия всех токенов словаря. Сэмплирование решает, какой из них выбрать: детерминированно «самый вероятный» или случайно из отфильтрованного распределения. От этой настройки зависит стиль генерации больше, чем от чего-либо ещё.
Конвейер: от логитов к токену
flowchart LR
L[логиты] --> P[штрафы повторов<br>penalties, DRY]
P --> K[top-k<br>оставить k лучших]
K --> T[typical / top-p<br>обрезать «хвост»]
T --> M[min-p<br>доля от лидера]
M --> X[xtc<br>иногда убрать самый вероятный]
X --> TEM[temperature<br>резкость распределения]
TEM --> S[softmax → выбор<br>seed управляет случайностью]
Диаграмма mermaid отрисовывается скриптом; если виден только исходник — JS в браузере отключён или не загрузился.
Цепочка выше — фактический порядок сэмплеров llama.cpp v1.0.0:
penalties;dry;top_n_sigma;top_k;typ_p;top_p;min_p;xtc;temperature.
- Фильтры (top-k/top-p/min-p/xtc/typical) удаляют маловероятные кандидаты до температуры — чтобы случайность не выбирала мусор.
- Temperature — делитель логитов:
t→0— распределение «заостряется» к лидеру;t>1— сглаживается, растёт разнообразие. - Жадное декодирование (t=0 и без фильтров) — всегда лидер: детерминированно, но склонно к зацикливанию и «сухим» текстам.
- Seed — та же настройка + тот же промпт = тот же ответ; нужен для повторяемых экспериментов.
Почему нельзя «просто взять максимум»
На пике распределения — шаблонные формулировки и петли («дай список» — бесконечные списки). Слишком широкое сэмплирование (высокая t без фильтров) — бред. Вся практика сэмплирования — поиск середины: см. карточки в Параметрах сэмплирования.
Штрафы повторов — отдельная семья
repeat_penalty, presence_penalty, frequency_penalty и DRY понижают вероятность
токенов, уже встречавшихся в недавнем окне (типично 64 токена). Полезно против петель,
опасно в коде/именах, где повтор законен. См. lcp.sampler-flags.
Ограниченный выбор
Можно не фильтровать, а запретить: грамматика/JSON-схема маскируют логиты до сэмплирования так, что запрещённые токены невозможны — Ограниченное декодирование.
Связь с llama.cpp
Флаги и их дефолты (v1.0.0) — в карточках p.temperature, p.top-k,
p.top-p, p.min-p и в Флагах сэмплирования; их же можно менять на лету
полем top_k/temperature/… в запросе к серверу —
HTTP API.