LLM-GUIDELLM × llama.cpp Конфигуратор …

q.q6-k

bpw6.56
Размер (8B-модель)6.14 GiB
Когда применятьпрактически без заметных потерь

Источник: shared/data/quants.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →