Локальный чат с моделью
Путь: правильный шаблон → системный промпт → сэмплеры «для человеческого» режима → повторяемость. От старта tut.run-model: ~10 минут.
Шаг 1. Шаблон (почему это важно — концепт)
v1.0.0 делает правильное по умолчанию: --jinja включён, шаблон читается из GGUF.
Проверка, что всё хорошо:
llama-cli -m model-Q4_K_M.gguf --verbose-prompt # посмотреть сырой промпт
Модель отвечает как ассистент? → готово. Продолжает текст/эхо? →
диагностика шаблона (явный --chat-template).
Шаг 2. Системный промпт
llama-cli -m model-Q4_K_M.gguf \
-sys "Ты — лаконичный ассистент. Отвечай по-русски. Не выдумывай факты."
Правила хорошего -sys: роль + язык + длина ответа + запрет выдумок. Длинные инструкции —
в файл: -sysf system.txt (llama-cli).
Шаг 3. Сэмплеры для чата
Дефолты v1.0.0 (temp 0.80, top-k 40, top-p 0.95, min-p 0.05) — хороший чат-старт. Если хочется живее — правило сообщества: temp выше, min-p держит связность (почему):
llama-cli -m model-Q4_K_M.gguf -sys "…" \
--temp 1.0 --min-p 0.08 \
--seed 42 # фиксируем для воспроизводимых сравнений
Режимы по задаче (таблица карточек): код/факты --temp 0.2;
креатив --temp 1.1 --xtc-probability 0.5.
Повторы/зацикливание — DRY: --dry-multiplier 0.8.
Шаг 4. Reasoning-модели
Если модель «think»-класса и размышления не нужны в простом чате:
--reasoning off # или --reasoning-budget 0
Мысли в тексте ответа — настройка --reasoning-format (шаблоны/reasoning).
Шаг 5. Быт чата
- Многострочный ввод:
\в конце строки или--multiline-input. - Выход: Ctrl+D / команда выхода по подсказке CLI.
- Сохранить диалог:
-o chat.txt. - Ограничить длину ответа:
-n 512(карточка).
Проверка результата
Одна и та же реплика при --seed 42 даёт одинаковый ответ — сэмплирование
детерминировано, окружение стабильно (зачем seed).
Ответы «сухие»/шаблонные → temp вверх (min-p вниз не трогайте); бред → temp вниз.
Куда дальше
- Чат как сервис (браузер/клиенты/SDK) — tut.server.
- Полный разбор флагов — sampler-flags.