LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / MHA, MQA, GQA, MLA — варианты attention

MHA, MQA, GQA, MLA — варианты attention

Коротко: способы сэкономить KV-кэш — главную «гибкую» часть памяти при длинном контексте. Сравнение нужно при выборе модели под ограниченную VRAM: тот же контекст у GQA-модели занимает в разы меньше кэша, чем у MHA.

Что сравниваем

Вариант Идея KV-кэш (относительно MHA) Качество Примеры моделей
MHA — multi-head у каждой головы свои K и V 1× (базовая линия) лучший, самый дорогой ранние Llama 1/2
MQA — multi-query одна общая пара K/V на все головы ~1/кол-во голов (в 16–32 раза меньше) заметная потеря PaLM, StarCoder
GQA — grouped-query головы разбиты на группы, внутри группы общие K/V ~1/размер группы (обычно 1/4–1/8) почти как MHA Llama 3, Qwen 2/3, Mistral
MLA — multi-head latent K и V сжимаются в низкоразмерный «латентный» вектор в разы меньше GQA при больших моделях на уровне MHA в практике DeepSeek-V2/V3

Как это работает

  • MHA: q голов → q пар K/V. Кэш растёт с числом голов.
  • MQA/GQA: K и V считаются меньшим числом голов (kv_heads); запросы Q остаются многочисленными. Размер кэша пропорционален именно kv_heads — отсюда экономия.
  • MLA: вместо хранения K и V модель хранит сжатый латент per-токен и разворачивает его при вычислении attention — сжатие сильнее, вычислений чуть больше.

Почему это важно на практике

Формула размера KV-кэша (см. KV-кэш):

байт = 2 × слои × контекст × kv_heads × head_dim × байт_на_элемент

У GQA с 8 kv_heads против MHA с 32 — кэш в 4 раза меньше при том же контексте, либо контекст в 4 раза больше при той же памяти. Это объясняет, почему современные 7–9B модели спокойно живут с 32k+ контекста на consumer-GPU.

Связь с llama.cpp

  • llama.cpp читает kv_heads из GGUF и строит кэш по фактической архитектуре — ничего включать не надо; но планировать память надо с учётом варианта: см. «Не хватает памяти» и калькулятор ассистента (calc_memory).
  • MLA поддерживается движком как архитектура модели (DeepSeek); детали загрузки — GGUF и «Модель не загружается».
  • Квантование KV (-ctk/-ctv) — независимая от варианта экономия, складывается с GQA/MLA: см. p.cache-type-k.

Что читать дальше

KV-кэш → GPU-оффлоад → Диагностика OOM.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию