LLM-GUIDELLM × llama.cpp Конфигуратор …

p.cache-type-v

Что делаеттип данных V-части KV-кэша
CLI-ctv, --cache-type-v
Серверstartup: -ctv
По умолчанию (v1.0.0)f16
Диапазонf32, f16, bf16, f8_e4m3, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1
Концептllm.kv-cache
Заметкиквантованные типы требуют p.flash-attn

Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →