Главная / Слой данных / p.cache-type-v
p.cache-type-v
| Что делает | тип данных V-части KV-кэша |
|---|---|
| CLI | -ctv, --cache-type-v |
| Сервер | startup: -ctv |
| По умолчанию (v1.0.0) | f16 |
| Диапазон | f32, f16, bf16, f8_e4m3, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1 |
| Концепт | llm.kv-cache |
| Заметки | квантованные типы требуют p.flash-attn |
Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →