Запуск первой модели локально
Путь: выбрать GGUF → поставить llama.cpp → запустить чат → убедиться, что всё работает (и на чём именно). ~15 минут.
Шаг 1. Оцените память (зачем это — контекст)
Бюджет: веса + KV-кэш + буферы + запас (разбор). Быстрая прикидка для типовых машин:
| Железо | Модель | Квант (таблица) |
|---|---|---|
| 8 ГБ VRAM / 16 ГБ RAM | 7–9B | Q4_K_M (размер — в таблице) |
| 12–16 ГБ VRAM | 12–14B | Q4_K_M |
| 24 ГБ VRAM | 24–32B | Q4_K_M |
| CPU-only 16 ГБ RAM | 3–8B | Q4_K_M (готовы к ~5–15 t/s) |
Шаг 2. Установите llama.cpp
Быстрый путь — пакет (install): winget install llama.cpp
или brew install llama.cpp. Проверка:
llama-cli --version # v1.0.0 или свежее
GPU-сборка нужна, если пакет не ваш бэкенд — сборка и бэкенды.
Шаг 3. Запустите (модель скачается сама)
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF
-hf <user>/<model>[:quant] — официальный способ из docs/models.md; квант указывается
суффиксом (по умолчанию Q4_K_M). Альтернатива — заранее скачанный файл:
llama-cli -m ./модель-Q4_K_M.gguf
Откроется интерактивный чат (llama-cli). Тайминги после каждого ответа (дефолт on) показывают t/s.
Шаг 4. Убедитесь, что считаете на GPU
В логе запуска найдите строку вида load_tensors: offloaded N/N layers to GPU
и упоминание устройства (CUDA0/Metal/Vulkan). Не упомянуты — бэкенды →
diag-slow.
v1.0.0: -ngl auto и -fit on подберут оффлоад сами; контекст берётся из модели.
Явные версии тех же флагов: -ngl all -c 8192 -fa auto (карточки).
Шаг 5. Быстрая проверка здоровья модели
- Чат-поведение: модель отвечает на «Привет» как ассистент (не продолжает текст) — иначе чат-шаблоны.
- Скорость: t/s в таймингах против ожиданий — perf-tuning.
- Память:
nvidia-smi— запас VRAM есть (≈1–2 ГиБ), иначе см. diag-oom.
Куда дальше
- Постоянный чат с историей и настройкой сэмплеров — tut.chat.
- Сервер для себя и клиентов — tut.server.
- Что произошло «под капотом» — Что такое LLM.