Главная / LLM Handbook / Attention
Attention
Коротко: attention — механизм, которым каждая позиция текста взвешенно «смотрит» на все предыдущие позиции. Из него же растут две главные инженерные боли LLM: квадратичная цена длины и необходимость KV-кэша.
Как это работает
Из вектора каждой позиции три проекции: Q (query — «что я ищу»), K (key — «что я могу предложить»), V (value — «чем делюсь»).
По шагам:
QK^T— попарные «совпадения» вопросов и ключей: матрица n×n для контекста длины n.- Деление на
√d— стабилизация масштаба. - Каузальная маска — позиции выше диагонали запрещены: токен не может «подглядеть» будущее. Это и есть авторегрессивность на уровне архитектуры.
softmax— превращает совпадения в веса, суммирующиеся в 1.- Взвешенная сумма V — новый вектор позиции.
Несколько голов (head) делают это параллельно с разными Q/K/V — «разные взгляды» на текст (синтаксис, тема, позиция…). Как головы организованы — MHA/MQA/GQA/MLA.
Почему это важно на практике
- Цена длины квадратична: матрица n×n и на префилле, и по памяти промежуточных вычислений. Удвоение контекста — вчетверо больше работы attention на префилле.
- K и V каждой прошлой позиции нужны на каждом шаге генерации → их кэшируют (KV-кэш); размер кэша линейно растёт с контекстом.
- FlashAttention — алгоритм, который считает точный attention, не записывая матрицу n×n в память (блочная обработка + онлайн-softmax): быстрее и радикально экономнее по памяти. Это включение одного флага в llama.cpp.
Связь с llama.cpp
| Концепт | Флаг/настройка | Что делает |
|---|---|---|
| FlashAttention | -fa, --flash-attn (v1.0.0: on/off/auto, по умолчанию auto) |
экономит память буферов, ускоряет префилл; обязателен для квантованного KV-кэша |
| Длина контекста | -c, --ctx-size |
задаёт n для матрицы и KV-кэша |
| Ограничения бэкенда | — | поддержка -fa зависит от GPU/бэкенда, см. Бэкенды |
Карточки: p.flash-attn · раздел флагов: Общие флаги llama.cpp.
Что читать дальше
KV-кэш — главный практический следствие attention; RoPE — как модель узнаёт порядок позиций.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.