LLM-GUIDELLM × llama.cpp Конфигуратор …

q.iq3-m

bpw3.76
Размер (8B-модель)3.52 GiB
Когда применятьлучший из 3-битных; только с imatrix

Источник: shared/data/quants.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →