LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / llama-cli: запуск и чат в терминале

llama-cli: запуск и чат в терминале

Коротко: llama-cli — quickest путь «скачать модель и поговорить»: интерактивный чат по умолчанию, одиночный промпт по -p, скачивание с HF по -hf. Полный help — tools/cli/README.md (v1.0.0).

Первый запуск (модель скачивается сама)

llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

-hf <user>/<model>[:quant] — качает GGUF из HF (квант по суффиксу, дефолт Q4_K_M; mmproj для мультимодальных — автоматом, --no-mmproj отключить). Аналоги: --model-url URL, --docker-repo. Файл кэшируется; повторный запуск — офлайн-готов.

Запуск локального файла

llama-cli -m ./model-Q4_K_M.gguf

Режимы

Как Что будет
-m model.gguf (без -p) интерактивный чат: вводите сообщения, диалог помнит контекст
-p "текст" одиночная генерация и выход (-st/--single-turn — явно один ход)
-p ... -st без интерактива — удобно в скриптах
--server-base http://host:9931 не грузить модель: работать как клиент уже запущенного llama-server
-f файл.txt промпт из файла

Полезные флаги в диалоге

  • -sys "системный промпт" — правила поведения (chat-templates); есть и -sysf файл.
  • --jinja включён по умолчанию (v1.0.0) — шаблон из GGUF; переопределить: --chat-template chatml (имя builtin или inline) — p.chat-template.
  • Reasoning-модели: --reasoning off — отключить «размышления», --reasoning-format — управление выводом <think>-блоков (дефолт auto).
  • Сэмплирование: --temp, --top-k, --top-p, --min-p, --seed — карточки и дефолты в sampler-flags; для «фактов/кода» начните с --temp 0.3.
  • Вывод: -o out.txt (в файл), --no-display-prompt (не печатать промпт), --show-timings (тайминги по умолчанию on — видно t/s).
  • --simple-io — при проблемах ввода в подпроцессах/нестандартных консолях (Windows CI/терминалы).

Мини-шпаргалка

# чат на русском с фиксированным seed
llama-cli -m model-Q4_K_M.gguf -sys "Ты лаконичный ассистент. Отвечай по-русски." -s 42

# один вопрос → один ответ (скриптовый режим)
llama-cli -m model-Q4_K_M.gguf -p "Суммируй этот текст: $(cat doc.txt)" -st -n 512

# работа через уже запущенный сервер
llama-cli --server-base http://127.0.0.1:9931

Типичные проблемы

  • «Отвечает как продолжение текста» → base-модель или битый шаблон — chat-templates / diag-load.
  • Мусор в выводе → diag-quality (сэмплеры/шаблон/файл).
  • Медленно → diag-slow; постоянный сервис — берите llama-server.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию