LLM-GUIDELLM × llama.cpp Конфигуратор …

q.q5-k-s

bpw5.57
Размер (8B-модель)5.21 GiB
Когда применятьчуть компактнее Q5_K_M

Источник: shared/data/quants.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →