LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Туториалы / Запуск первой модели локально

Запуск первой модели локально

Путь: выбрать GGUF → поставить llama.cpp → запустить чат → убедиться, что всё работает (и на чём именно). ~15 минут.

Шаг 1. Оцените память (зачем это — контекст)

Бюджет: веса + KV-кэш + буферы + запас (разбор). Быстрая прикидка для типовых машин:

Железо Модель Квант (таблица)
8 ГБ VRAM / 16 ГБ RAM 7–9B Q4_K_M (размер — в таблице)
12–16 ГБ VRAM 12–14B Q4_K_M
24 ГБ VRAM 24–32B Q4_K_M
CPU-only 16 ГБ RAM 3–8B Q4_K_M (готовы к ~5–15 t/s)

Шаг 2. Установите llama.cpp

Быстрый путь — пакет (install): winget install llama.cpp или brew install llama.cpp. Проверка:

llama-cli --version        # v1.0.0 или свежее

GPU-сборка нужна, если пакет не ваш бэкенд — сборка и бэкенды.

Шаг 3. Запустите (модель скачается сама)

llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

-hf <user>/<model>[:quant] — официальный способ из docs/models.md; квант указывается суффиксом (по умолчанию Q4_K_M). Альтернатива — заранее скачанный файл:

llama-cli -m ./модель-Q4_K_M.gguf

Откроется интерактивный чат (llama-cli). Тайминги после каждого ответа (дефолт on) показывают t/s.

Шаг 4. Убедитесь, что считаете на GPU

В логе запуска найдите строку вида load_tensors: offloaded N/N layers to GPU и упоминание устройства (CUDA0/Metal/Vulkan). Не упомянуты — бэкенды → diag-slow.

v1.0.0: -ngl auto и -fit on подберут оффлоад сами; контекст берётся из модели. Явные версии тех же флагов: -ngl all -c 8192 -fa auto (карточки).

Шаг 5. Быстрая проверка здоровья модели

  • Чат-поведение: модель отвечает на «Привет» как ассистент (не продолжает текст) — иначе чат-шаблоны.
  • Скорость: t/s в таймингах против ожиданий — perf-tuning.
  • Память: nvidia-smi — запас VRAM есть (≈1–2 ГиБ), иначе см. diag-oom.

Куда дальше

  • Постоянный чат с историей и настройкой сэмплеров — tut.chat.
  • Сервер для себя и клиентов — tut.server.
  • Что произошло «под капотом» — Что такое LLM.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию