LLM-GUIDELLM × llama.cpp Конфигуратор …

p.flash-attn

Что делаетFlashAttention: не материализовать матрицу внимания n×n
CLI-fa, --flash-attn
Серверstartup: -fa
По умолчанию (v1.0.0)auto
Диапазонon | off | auto
Концептllm.attention
Заметкиv1.0.0: трёхзначный, не булев; нужен для квантованного KV (p.cache-type-k/v); поддержка зависит от бэкенда

Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →