attention g.attention
механизм взвешивания всех позиций контекста при обработке каждой позиции
Статья: llm.attention — где этот термин работает на практике.
Весь глоссарий — термины локального инференса LLM.
g.attentionмеханизм взвешивания всех позиций контекста при обработке каждой позиции