LLM-GUIDELLM × llama.cpp Конфигуратор …

q.iq4-xs

bpw4.46
Размер (8B-модель)4.17 GiB
Когда применятькомпактнее Q4_K_S; считать с imatrix

Источник: shared/data/quants.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →