Главная / llama.cpp Handbook / llama-cli: запуск и чат в терминале
llama-cli: запуск и чат в терминале
Коротко:
llama-cli— quickest путь «скачать модель и поговорить»: интерактивный чат по умолчанию, одиночный промпт по-p, скачивание с HF по-hf. Полный help —tools/cli/README.md(v1.0.0).
Первый запуск (модель скачивается сама)
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF
-hf <user>/<model>[:quant] — качает GGUF из HF (квант по суффиксу, дефолт Q4_K_M;
mmproj для мультимодальных — автоматом, --no-mmproj отключить). Аналоги:
--model-url URL, --docker-repo. Файл кэшируется; повторный запуск — офлайн-готов.
Запуск локального файла
llama-cli -m ./model-Q4_K_M.gguf
Режимы
| Как | Что будет |
|---|---|
-m model.gguf (без -p) |
интерактивный чат: вводите сообщения, диалог помнит контекст |
-p "текст" |
одиночная генерация и выход (-st/--single-turn — явно один ход) |
-p ... -st |
без интерактива — удобно в скриптах |
--server-base http://host:9931 |
не грузить модель: работать как клиент уже запущенного llama-server |
-f файл.txt |
промпт из файла |
Полезные флаги в диалоге
-sys "системный промпт"— правила поведения (chat-templates); есть и-sysf файл.--jinjaвключён по умолчанию (v1.0.0) — шаблон из GGUF; переопределить:--chat-template chatml(имя builtin или inline) — p.chat-template.- Reasoning-модели:
--reasoning off— отключить «размышления»,--reasoning-format— управление выводом<think>-блоков (дефолтauto). - Сэмплирование:
--temp,--top-k,--top-p,--min-p,--seed— карточки и дефолты в sampler-flags; для «фактов/кода» начните с--temp 0.3. - Вывод:
-o out.txt(в файл),--no-display-prompt(не печатать промпт),--show-timings(тайминги по умолчанию on — видно t/s). --simple-io— при проблемах ввода в подпроцессах/нестандартных консолях (Windows CI/терминалы).
Мини-шпаргалка
# чат на русском с фиксированным seed
llama-cli -m model-Q4_K_M.gguf -sys "Ты лаконичный ассистент. Отвечай по-русски." -s 42
# один вопрос → один ответ (скриптовый режим)
llama-cli -m model-Q4_K_M.gguf -p "Суммируй этот текст: $(cat doc.txt)" -st -n 512
# работа через уже запущенный сервер
llama-cli --server-base http://127.0.0.1:9931
Типичные проблемы
- «Отвечает как продолжение текста» → base-модель или битый шаблон — chat-templates / diag-load.
- Мусор в выводе → diag-quality (сэмплеры/шаблон/файл).
- Медленно → diag-slow; постоянный сервис — берите llama-server.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.