LLM-GUIDELLM × llama.cpp Конфигуратор …

Attention

Коротко: attention — механизм, которым каждая позиция текста взвешенно «смотрит» на все предыдущие позиции. Из него же растут две главные инженерные боли LLM: квадратичная цена длины и необходимость KV-кэша.

Как это работает

Из вектора каждой позиции три проекции: Q (query — «что я ищу»), K (key — «что я могу предложить»), V (value — «чем делюсь»).

Attention(Q,K,V)=softmax ⁣(QK⊤d)V\text{Attention}(Q, K, V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d}}\right)V

По шагам:

  1. QK^T — попарные «совпадения» вопросов и ключей: матрица n×n для контекста длины n.
  2. Деление на √d — стабилизация масштаба.
  3. Каузальная маска — позиции выше диагонали запрещены: токен не может «подглядеть» будущее. Это и есть авторегрессивность на уровне архитектуры.
  4. softmax — превращает совпадения в веса, суммирующиеся в 1.
  5. Взвешенная сумма V — новый вектор позиции.

Несколько голов (head) делают это параллельно с разными Q/K/V — «разные взгляды» на текст (синтаксис, тема, позиция…). Как головы организованы — MHA/MQA/GQA/MLA.

Почему это важно на практике

  • Цена длины квадратична: матрица n×n и на префилле, и по памяти промежуточных вычислений. Удвоение контекста — вчетверо больше работы attention на префилле.
  • K и V каждой прошлой позиции нужны на каждом шаге генерации → их кэшируют (KV-кэш); размер кэша линейно растёт с контекстом.
  • FlashAttention — алгоритм, который считает точный attention, не записывая матрицу n×n в память (блочная обработка + онлайн-softmax): быстрее и радикально экономнее по памяти. Это включение одного флага в llama.cpp.

Связь с llama.cpp

Концепт Флаг/настройка Что делает
FlashAttention -fa, --flash-attn (v1.0.0: on/off/auto, по умолчанию auto) экономит память буферов, ускоряет префилл; обязателен для квантованного KV-кэша
Длина контекста -c, --ctx-size задаёт n для матрицы и KV-кэша
Ограничения бэкенда — поддержка -fa зависит от GPU/бэкенда, см. Бэкенды

Карточки: p.flash-attn · раздел флагов: Общие флаги llama.cpp.

Что читать дальше

KV-кэш — главный практический следствие attention; RoPE — как модель узнаёт порядок позиций.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию