LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Чат-шаблоны

Чат-шаблоны

Коротко: модель умеет только дополнять текст. «Чат» возникает, если диалог размечен точно так же, как при обучении: роли и спецтокены по шаблону конкретной модели. Неверный шаблон — главная причина «модель тупит/не слушается/продолжает текст».

Зачем нужен шаблон

Instruct-модель обучалась на диалогах в строгом формате, например:

<|im_start|>system
Ты полезный ассистент.<|im_end|>
<|im_start|>user
Привет!<|im_end|>
<|im_start|>assistant

Этот формат (chat template, обычно jinja-скрипт) превращает список сообщений {role, content} в сырой текст промпта. Базовая модель без инструктивного дообучения чат-формата не имеет — она просто допишет текст, и это норма.

Компоненты

  • Роли — system (системный промпт: правила поведения), user, assistant; у части моделей — tool/developer.
  • Спецтокены — границы сообщений, BOS в начале; assistant\n в конце — сигнал «отвечай теперь».
  • Правила обрезки (стрейпинг) пробелов/переносов — тоже часть шаблона.
  • Reasoning-модели — шаблон может включать «размышляющие» блоки; llama.cpp умеет их отделять (--reasoning-format), см. Чат-шаблоны в llama.cpp.

Типичные симптомы неверного шаблона

Симптом Причина
модель продолжает текст, а не отвечает (эхо, «user: …») нет конца сообщения assistant / маркеров ролей
поток мусора или HTML/XML шаблон чужой архитектуры, спецтокены не те
системный промпт игнорируется system не входит в формат модели
модель «думает вслух» в ответе reasoning-блоки не отделяются (настройка --reasoning-format)

Полный маршрут диагностики — err.chat-format в матрице диагностики и diag-load.

Связь с llama.cpp

  • Шаблон хранится в метаданных GGUF и применяется автоматически (jinja включён по умолчанию в v1.0.0).
  • Переопределение: --chat-template (имя builtin или inline jinja) — карточка p.chat-template.
  • Сервер даёт POST /apply-template — увидеть, какой сырой промпт получается, HTTP API.

Что читать дальше

Чат-шаблоны в llama.cpp → туториал «Локальный чат».

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию