MHA / MQA / GQA / MLA g.mha-gqa
варианты организации голов внимания; GQA/MLA делят K/V между головами и уменьшают KV-кэш
Статья: llm.attention-variants — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.