Главная / LLM Handbook / MHA, MQA, GQA, MLA — варианты attention
MHA, MQA, GQA, MLA — варианты attention
Коротко: способы сэкономить KV-кэш — главную «гибкую» часть памяти при длинном контексте. Сравнение нужно при выборе модели под ограниченную VRAM: тот же контекст у GQA-модели занимает в разы меньше кэша, чем у MHA.
Что сравниваем
| Вариант | Идея | KV-кэш (относительно MHA) | Качество | Примеры моделей |
|---|---|---|---|---|
| MHA — multi-head | у каждой головы свои K и V | 1× (базовая линия) | лучший, самый дорогой | ранние Llama 1/2 |
| MQA — multi-query | одна общая пара K/V на все головы | ~1/кол-во голов (в 16–32 раза меньше) | заметная потеря | PaLM, StarCoder |
| GQA — grouped-query | головы разбиты на группы, внутри группы общие K/V | ~1/размер группы (обычно 1/4–1/8) | почти как MHA | Llama 3, Qwen 2/3, Mistral |
| MLA — multi-head latent | K и V сжимаются в низкоразмерный «латентный» вектор | в разы меньше GQA при больших моделях | на уровне MHA в практике | DeepSeek-V2/V3 |
Как это работает
- MHA: q голов → q пар K/V. Кэш растёт с числом голов.
- MQA/GQA: K и V считаются меньшим числом голов (
kv_heads); запросы Q остаются многочисленными. Размер кэша пропорционален именноkv_heads— отсюда экономия. - MLA: вместо хранения K и V модель хранит сжатый латент per-токен и разворачивает его при вычислении attention — сжатие сильнее, вычислений чуть больше.
Почему это важно на практике
Формула размера KV-кэша (см. KV-кэш):
байт = 2 × слои × контекст × kv_heads × head_dim × байт_на_элемент
У GQA с 8 kv_heads против MHA с 32 — кэш в 4 раза меньше при том же контексте, либо контекст в 4 раза больше при той же памяти. Это объясняет, почему современные 7–9B модели спокойно живут с 32k+ контекста на consumer-GPU.
Связь с llama.cpp
- llama.cpp читает
kv_headsиз GGUF и строит кэш по фактической архитектуре — ничего включать не надо; но планировать память надо с учётом варианта: см. «Не хватает памяти» и калькулятор ассистента (calc_memory). - MLA поддерживается движком как архитектура модели (DeepSeek); детали загрузки — GGUF и «Модель не загружается».
- Квантование KV (
-ctk/-ctv) — независимая от варианта экономия, складывается с GQA/MLA: см. p.cache-type-k.
Что читать дальше
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.