LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Туториалы / Локальный чат с моделью

Локальный чат с моделью

Путь: правильный шаблон → системный промпт → сэмплеры «для человеческого» режима → повторяемость. От старта tut.run-model: ~10 минут.

Шаг 1. Шаблон (почему это важно — концепт)

v1.0.0 делает правильное по умолчанию: --jinja включён, шаблон читается из GGUF. Проверка, что всё хорошо:

llama-cli -m model-Q4_K_M.gguf --verbose-prompt   # посмотреть сырой промпт

Модель отвечает как ассистент? → готово. Продолжает текст/эхо? → диагностика шаблона (явный --chat-template).

Шаг 2. Системный промпт

llama-cli -m model-Q4_K_M.gguf \
  -sys "Ты — лаконичный ассистент. Отвечай по-русски. Не выдумывай факты."

Правила хорошего -sys: роль + язык + длина ответа + запрет выдумок. Длинные инструкции — в файл: -sysf system.txt (llama-cli).

Шаг 3. Сэмплеры для чата

Дефолты v1.0.0 (temp 0.80, top-k 40, top-p 0.95, min-p 0.05) — хороший чат-старт. Если хочется живее — правило сообщества: temp выше, min-p держит связность (почему):

llama-cli -m model-Q4_K_M.gguf -sys "…" \
  --temp 1.0 --min-p 0.08 \
  --seed 42        # фиксируем для воспроизводимых сравнений

Режимы по задаче (таблица карточек): код/факты --temp 0.2; креатив --temp 1.1 --xtc-probability 0.5. Повторы/зацикливание — DRY: --dry-multiplier 0.8.

Шаг 4. Reasoning-модели

Если модель «think»-класса и размышления не нужны в простом чате:

--reasoning off            # или --reasoning-budget 0

Мысли в тексте ответа — настройка --reasoning-format (шаблоны/reasoning).

Шаг 5. Быт чата

  • Многострочный ввод: \ в конце строки или --multiline-input.
  • Выход: Ctrl+D / команда выхода по подсказке CLI.
  • Сохранить диалог: -o chat.txt.
  • Ограничить длину ответа: -n 512 (карточка).

Проверка результата

Одна и та же реплика при --seed 42 даёт одинаковый ответ — сэмплирование детерминировано, окружение стабильно (зачем seed). Ответы «сухие»/шаблонные → temp вверх (min-p вниз не трогайте); бред → temp вниз.

Куда дальше

  • Чат как сервис (браузер/клиенты/SDK) — tut.server.
  • Полный разбор флагов — sampler-flags.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию