LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Какую модель развернуть: выбор под задачу и железо

Какую модель развернуть: выбор под задачу и железо

Коротко: выбор = три решения: задача (чат / код / размышления / векторы), размер (влезает ли в память с квантом и контекстом), свежесть (модели-топы меняются ежемесячно — берите из проверенных источников, а не «последнее что слышал»). Формула старта для типовой машины: 7–9B в Q4_K_M — и дальше по таблицам ниже.

Модель — не константа: конкретные имена в этой статье заземлены на llama.cpp v1.0.0 (пресеты и примеры из закупленных docs). Рынок живой: раз в месяц появляются новые семейства, поэтому последний шаг выбора всегда — посмотреть актуальные GGUF-топы (HF, фильтр GGUF) и пресеты текущей версии llama.cpp.

Шаг 1. Задача → класс модели

Задача Класс модели Представители (из примеров/пресетов v1.0.0) Замечание
Рабочий чат, ассистент instruct-модель 7–14B Gemma 3 12B QAT, GLM-4.7-Flash, Qwen-инструкты чат-шаблон обязателен
Код: дополнение в IDE маленькая FIM/Coder Qwen 2.5 Coder 1.5B–7B (есть пресеты --fim-qwen-*) маленькая = мгновенные подсказки
Код: агентные задачи 30B MoE или 14B+ dense Qwen 3 Coder 30B A3B (пресет), Qwen 2.5 Coder 14B MoE «30B-A3B» ≈ скорость 3B-модели
Размышления (reasoning) thinking-модели gpt-oss-20b (пресет) держите reasoning-флаги под рукой
Тяжёлый анализ, 24 ГБ+ 70B+ или большой MoE gpt-oss-120b (пресет; MoE — работает при скромной VRAM с -cmoe) см. MoE-оффлоад
Векторы для поиска/RAG отдельная embedding-модель EmbeddingGemma (пресет --embd-gemma-default) не берите чат-модель — почему
Картинки/аудио мультимодальная + mmproj Gemma 3 4B/12B QAT (vision-пресеты), mmproj из конвертации parking lot: отдельная статья

Правило instruct/base: для чата берите -it/instruct-версии; base-модель «продолжает текст» — это не поломка (почему).

Шаг 2. Железо → размер и квант

Память съедают веса + KV-кэш + буферы (разбор). Ориентиры под GPU (квант — из таблицы с измерениями):

VRAM Ориентир Команда старта
8 ГБ 7–9B Q4_K_M или 14B IQ4_XS (размеры — в таблице квантов) llama-cli -hf <user>/<model>:Q4_K_M
12 ГБ 12–14B Q4_K_M тот же шаблон
16 ГБ 14B Q5_K_M / 30B-A3B MoE Q4 MoE — слои экспертов на CPU
24 ГБ 32B Q4_K_M / 70B IQ3–Q4 частично считать в конфигураторе
CPU-only 3–8B Q4_K_M или MoE-A3B потоки = физическим ядрам (perf-tuning)

Числовой пример — наш измеренный кейс: 8B (Llama-3.1-8B) в Q4_K_M = 4,58 ГиБ весов; при контексте 16k добавляется ~2 ГиБ KV-кэша → карта 8 ГБ влезает впритык; квантование KV в q8_0 (-ctk/-ctv q8_0) снижает кэш вдвое — полный счёт в KV-кэше и calc_memory ассистента.

Контекст тоже ресурс: «заявлено 128k» ≠ «влезет» — см. контекстное окно.

Шаг 3. Скачивание и пресеты

# прямой путь: любой GGUF с Hugging Face (квант по суффиксу)
llama-cli -hf <user>/<model>:Q4_K_M

# встроенные пресеты llama.cpp v1.0.0 — проверенные связки без поиска:
llama-server --gpt-oss-20b-default          # reasoning 20B
llama-server --vision-gemma-4b-default      # мультимодальная Gemma 3 QAT
llama-embedding --embd-gemma-default        # эмбеддинги для поиска (embedding-сборка)

Свежие топы: HF-фильтр GGUF (Trending) → смотрите квант Q4_K_M и размер файла под вашу VRAM → скачивание тем же -hf. Ориентир «модель месяца» проверяйте на своей задаче, а не на чужих бенчмарках (почему).

Шаг 4. Проверка выбора (5 минут)

  1. Скорость: llama-bench — tg/pp вашей машины (методика).
  2. Качество: 10–20 ваших реальных вопросов (золотой набор) — «поглупела» после кванта → diag-quality.
  3. Связка с задачей: код-модель без FIM-формата бесполезна в IDE, embedding-модель не чат — класс из шага 1 обязан совпадать с задачей.

Мифы

  • «Больше параметров = всегда лучше» — 70B на CPU отвечает единицы t/s: для чата полезнее 8B на GPU. Скорость тоже качество (инференс).
  • «Одна модель закроет всё» — связка «маленькая кодовая + средняя чатовая + embedding» часто полезнее одного гиганта.
  • «MoE всегда быстрее» — да на активных параметрах, но экспертам нужна память или CPU-оффлоад — считайте бюджет.
  • «Свежий релиз = мой выбор» — релизы проверяют на своих задачах; хайп ≠ ваша задача.

Связь с llama.cpp

Что читать дальше

Типы квантования → Запуск первой модели → Квантуем под железо.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию