LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Чат-шаблоны и reasoning в llama.cpp

Чат-шаблоны и reasoning в llama.cpp

Концепт — Чат-шаблоны. Здесь — практика.

Как это работает в v1.0.0

  • jinja включён по умолчанию (--jinja, дефолт enabled): шаблон берётся из метаданных GGUF (tokenizer.chat_template) — чаще всего ничего трогать не надо.
  • Сообщения {role, content} → сырой промпт; увидеть результат: POST /apply-template (server-api) или --verbose-prompt у CLI.
  • Системный промпт: -sys "…" / -sysf file (CLI), поле messages[role=system] (API).
  • Prefill последнего assistant-сообщения включён на сервере (--no-prefill-assistant отключить; флаг серверный) — можно «начать ответ» за модель.

Переопределение шаблона

# builtin-имя (список в help: chatml, llama3, gemma, deepseek3, mistral-v7, …)
llama-server -m model.gguf --chat-template chatml

# свой jinja прямо в аргументе / из файла
llama-server -m model.gguf --chat-template '{% for m in messages %}…{% endfor %}'
llama-server -m model.gguf --chat-template-file my-template.jinja

# дополнительные аргументы шаблона (JSON)
--reasoning off   # в v1.0.0 --chat-template-kwargs 'enable_thinking' deprecated (arg.cpp подсказывает --reasoning)

Правила: builtin-имена принимаются всегда; произвольный jinja — без ограничений, если --jinja активен (он по умолчанию включён). Карточка — p.chat-template.

Reasoning-модели (think-блоки)

Флаг Дефолт Что делает
--reasoning {on,off,auto} auto включать ли «размышления» (детект из шаблона)
--reasoning-format {auto,none,deepseek,deepseek-legacy} auto куда класть мысли: отделять в reasoning_content или оставлять в content
--reasoning-effort LEVEL default уровень усилий для шаблонов, которые его поддерживают (minimal…max)
--reasoning-budget N -1 (∞) бюджет токенов на размышления; 0 — выключить
--reasoning-preserve enabled сохранять trace прошлых ходов в истории
--skip-chat-parsing disabled не парсить вообще: всё в content (для отладки)

Симптом «в ответе видны <think>…</think>» → это не поломка: настройте --reasoning-format (или он не распознал шаблон — тогда явный --chat-template).

Диагностика неверного шаблона

Симптомы (модель «продолжает текст», мусор, игнор system) — таблица в концепте и err.chat-format в CROSSMAP. Порядок действий:

  1. --verbose-prompt / /apply-template — посмотреть сырой промпт.
  2. Сверить архитектуру модели со списком builtin; попробовать явное имя.
  3. --no-jinja (старый строковый путь) — только как контрольный эксперимент.
  4. Не грузится / ошибка «the supplied chat template is not supported» → diag-load.

Что читать дальше

Туториал «Локальный чат» → /apply-template и API.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию