LLM-GUIDELLM × llama.cpp Конфигуратор …

q.iq2-m

bpw2.93
Размер (8B-модель)2.74 GiB
Когда применятьэкстремальное сжатие; строго с imatrix

Источник: shared/data/quants.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →