Главная / Слой данных / p.flash-attn
p.flash-attn
| Что делает | FlashAttention: не материализовать матрицу внимания n×n |
|---|---|
| CLI | -fa, --flash-attn |
| Сервер | startup: -fa |
| По умолчанию (v1.0.0) | auto |
| Диапазон | on | off | auto |
| Концепт | llm.attention |
| Заметки | v1.0.0: трёхзначный, не булев; нужен для квантованного KV (p.cache-type-k/v); поддержка зависит от бэкенда |
Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →