Главная / Слой данных / p.cache-type-k
p.cache-type-k
| Что делает | тип данных K-части KV-кэша |
|---|---|
| CLI | -ctk, --cache-type-k |
| Сервер | startup: -ctk |
| По умолчанию (v1.0.0) | f16 |
| Диапазон | f32, f16, bf16, f8_e4m3, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1 |
| Концепт | llm.kv-cache |
| Заметки | квантованные типы требуют p.flash-attn |
Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →