Главная / llama.cpp Handbook / Чат-шаблоны и reasoning в llama.cpp
Чат-шаблоны и reasoning в llama.cpp
Концепт — Чат-шаблоны. Здесь — практика.
Как это работает в v1.0.0
- jinja включён по умолчанию (
--jinja, дефолт enabled): шаблон берётся из метаданных GGUF (tokenizer.chat_template) — чаще всего ничего трогать не надо. - Сообщения
{role, content}→ сырой промпт; увидеть результат:POST /apply-template(server-api) или--verbose-promptу CLI. - Системный промпт:
-sys "…"/-sysf file(CLI), полеmessages[role=system](API). - Prefill последнего assistant-сообщения включён на сервере (
--no-prefill-assistantотключить; флаг серверный) — можно «начать ответ» за модель.
Переопределение шаблона
# builtin-имя (список в help: chatml, llama3, gemma, deepseek3, mistral-v7, …)
llama-server -m model.gguf --chat-template chatml
# свой jinja прямо в аргументе / из файла
llama-server -m model.gguf --chat-template '{% for m in messages %}…{% endfor %}'
llama-server -m model.gguf --chat-template-file my-template.jinja
# дополнительные аргументы шаблона (JSON)
--reasoning off # в v1.0.0 --chat-template-kwargs 'enable_thinking' deprecated (arg.cpp подсказывает --reasoning)
Правила: builtin-имена принимаются всегда; произвольный jinja — без ограничений, если
--jinja активен (он по умолчанию включён). Карточка —
p.chat-template.
Reasoning-модели (think-блоки)
| Флаг | Дефолт | Что делает |
|---|---|---|
--reasoning {on,off,auto} |
auto | включать ли «размышления» (детект из шаблона) |
--reasoning-format {auto,none,deepseek,deepseek-legacy} |
auto | куда класть мысли: отделять в reasoning_content или оставлять в content |
--reasoning-effort LEVEL |
default | уровень усилий для шаблонов, которые его поддерживают (minimal…max) |
--reasoning-budget N |
-1 (∞) | бюджет токенов на размышления; 0 — выключить |
--reasoning-preserve |
enabled | сохранять trace прошлых ходов в истории |
--skip-chat-parsing |
disabled | не парсить вообще: всё в content (для отладки) |
Симптом «в ответе видны <think>…</think>» → это не поломка: настройте
--reasoning-format (или он не распознал шаблон — тогда явный --chat-template).
Диагностика неверного шаблона
Симптомы (модель «продолжает текст», мусор, игнор system) — таблица в
концепте и err.chat-format в
CROSSMAP. Порядок действий:
--verbose-prompt//apply-template— посмотреть сырой промпт.- Сверить архитектуру модели со списком builtin; попробовать явное имя.
--no-jinja(старый строковый путь) — только как контрольный эксперимент.- Не грузится / ошибка «the supplied chat template is not supported» → diag-load.
Что читать дальше
Туториал «Локальный чат» → /apply-template и API.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.