Главная / LLM Handbook / Чат-шаблоны
Чат-шаблоны
Коротко: модель умеет только дополнять текст. «Чат» возникает, если диалог размечен точно так же, как при обучении: роли и спецтокены по шаблону конкретной модели. Неверный шаблон — главная причина «модель тупит/не слушается/продолжает текст».
Зачем нужен шаблон
Instruct-модель обучалась на диалогах в строгом формате, например:
<|im_start|>system
Ты полезный ассистент.<|im_end|>
<|im_start|>user
Привет!<|im_end|>
<|im_start|>assistant
Этот формат (chat template, обычно jinja-скрипт) превращает список
сообщений {role, content} в сырой текст промпта. Базовая модель без
инструктивного дообучения чат-формата не имеет — она просто допишет текст, и это норма.
Компоненты
- Роли — system (системный промпт: правила поведения), user, assistant; у части моделей — tool/developer.
- Спецтокены — границы сообщений, BOS в начале;
assistant\nв конце — сигнал «отвечай теперь». - Правила обрезки (стрейпинг) пробелов/переносов — тоже часть шаблона.
- Reasoning-модели — шаблон может включать «размышляющие» блоки; llama.cpp умеет их
отделять (
--reasoning-format), см. Чат-шаблоны в llama.cpp.
Типичные симптомы неверного шаблона
| Симптом | Причина |
|---|---|
| модель продолжает текст, а не отвечает (эхо, «user: …») | нет конца сообщения assistant / маркеров ролей |
| поток мусора или HTML/XML | шаблон чужой архитектуры, спецтокены не те |
| системный промпт игнорируется | system не входит в формат модели |
| модель «думает вслух» в ответе | reasoning-блоки не отделяются (настройка --reasoning-format) |
Полный маршрут диагностики — err.chat-format в
матрице диагностики и
diag-load.
Связь с llama.cpp
- Шаблон хранится в метаданных GGUF и применяется автоматически (jinja включён по умолчанию в v1.0.0).
- Переопределение:
--chat-template(имя builtin или inline jinja) — карточка p.chat-template. - Сервер даёт
POST /apply-template— увидеть, какой сырой промпт получается, HTTP API.
Что читать дальше
Чат-шаблоны в llama.cpp → туториал «Локальный чат».
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.