Какую модель развернуть: выбор под задачу и железо
Коротко: выбор = три решения: задача (чат / код / размышления / векторы), размер (влезает ли в память с квантом и контекстом), свежесть (модели-топы меняются ежемесячно — берите из проверенных источников, а не «последнее что слышал»). Формула старта для типовой машины: 7–9B в Q4_K_M — и дальше по таблицам ниже.
Модель — не константа: конкретные имена в этой статье заземлены на llama.cpp v1.0.0 (пресеты и примеры из закупленных docs). Рынок живой: раз в месяц появляются новые семейства, поэтому последний шаг выбора всегда — посмотреть актуальные GGUF-топы (HF, фильтр GGUF) и пресеты текущей версии llama.cpp.
Шаг 1. Задача → класс модели
| Задача | Класс модели | Представители (из примеров/пресетов v1.0.0) | Замечание |
|---|---|---|---|
| Рабочий чат, ассистент | instruct-модель 7–14B | Gemma 3 12B QAT, GLM-4.7-Flash, Qwen-инструкты | чат-шаблон обязателен |
| Код: дополнение в IDE | маленькая FIM/Coder | Qwen 2.5 Coder 1.5B–7B (есть пресеты --fim-qwen-*) |
маленькая = мгновенные подсказки |
| Код: агентные задачи | 30B MoE или 14B+ dense | Qwen 3 Coder 30B A3B (пресет), Qwen 2.5 Coder 14B | MoE «30B-A3B» ≈ скорость 3B-модели |
| Размышления (reasoning) | thinking-модели | gpt-oss-20b (пресет) | держите reasoning-флаги под рукой |
| Тяжёлый анализ, 24 ГБ+ | 70B+ или большой MoE | gpt-oss-120b (пресет; MoE — работает при скромной VRAM с -cmoe) |
см. MoE-оффлоад |
| Векторы для поиска/RAG | отдельная embedding-модель | EmbeddingGemma (пресет --embd-gemma-default) |
не берите чат-модель — почему |
| Картинки/аудио | мультимодальная + mmproj | Gemma 3 4B/12B QAT (vision-пресеты), mmproj из конвертации | parking lot: отдельная статья |
Правило instruct/base: для чата берите -it/instruct-версии; base-модель
«продолжает текст» — это не поломка (почему).
Шаг 2. Железо → размер и квант
Память съедают веса + KV-кэш + буферы (разбор). Ориентиры под GPU (квант — из таблицы с измерениями):
| VRAM | Ориентир | Команда старта |
|---|---|---|
| 8 ГБ | 7–9B Q4_K_M или 14B IQ4_XS (размеры — в таблице квантов) | llama-cli -hf <user>/<model>:Q4_K_M |
| 12 ГБ | 12–14B Q4_K_M | тот же шаблон |
| 16 ГБ | 14B Q5_K_M / 30B-A3B MoE Q4 | MoE — слои экспертов на CPU |
| 24 ГБ | 32B Q4_K_M / 70B IQ3–Q4 частично | считать в конфигураторе |
| CPU-only | 3–8B Q4_K_M или MoE-A3B | потоки = физическим ядрам (perf-tuning) |
Числовой пример — наш измеренный кейс: 8B (Llama-3.1-8B) в Q4_K_M = 4,58 ГиБ
весов; при контексте 16k добавляется ~2 ГиБ KV-кэша → карта 8 ГБ влезает впритык;
квантование KV в q8_0 (-ctk/-ctv q8_0) снижает кэш вдвое — полный счёт в
KV-кэше и calc_memory ассистента.
Контекст тоже ресурс: «заявлено 128k» ≠ «влезет» — см. контекстное окно.
Шаг 3. Скачивание и пресеты
# прямой путь: любой GGUF с Hugging Face (квант по суффиксу)
llama-cli -hf <user>/<model>:Q4_K_M
# встроенные пресеты llama.cpp v1.0.0 — проверенные связки без поиска:
llama-server --gpt-oss-20b-default # reasoning 20B
llama-server --vision-gemma-4b-default # мультимодальная Gemma 3 QAT
llama-embedding --embd-gemma-default # эмбеддинги для поиска (embedding-сборка)
Свежие топы: HF-фильтр GGUF (Trending) → смотрите квант Q4_K_M и размер файла под
вашу VRAM → скачивание тем же -hf. Ориентир «модель месяца» проверяйте на своей
задаче, а не на чужих бенчмарках (почему).
Шаг 4. Проверка выбора (5 минут)
- Скорость:
llama-bench— tg/pp вашей машины (методика). - Качество: 10–20 ваших реальных вопросов (золотой набор) — «поглупела» после кванта → diag-quality.
- Связка с задачей: код-модель без FIM-формата бесполезна в IDE, embedding-модель не чат — класс из шага 1 обязан совпадать с задачей.
Мифы
- «Больше параметров = всегда лучше» — 70B на CPU отвечает единицы t/s: для чата полезнее 8B на GPU. Скорость тоже качество (инференс).
- «Одна модель закроет всё» — связка «маленькая кодовая + средняя чатовая + embedding» часто полезнее одного гиганта.
- «MoE всегда быстрее» — да на активных параметрах, но экспертам нужна память или CPU-оффлоад — считайте бюджет.
- «Свежий релиз = мой выбор» — релизы проверяют на своих задачах; хайп ≠ ваша задача.
Связь с llama.cpp
- Скачивание и
-hf— llama-cli; кванты — типы и llama-quantize; память — GPU-оффлоад; итоговая проверка — llama-bench. - Ассистент (сценарий A2) подберёт квант под вашу VRAM: конфигуратор.
Что читать дальше
Типы квантования → Запуск первой модели → Квантуем под железо.