LLM-GUIDELLM × llama.cpp Конфигуратор …

q.q2-k

bpw3.16
Размер (8B-модель)2.95 GiB
Когда применятькрайний случай; ожидать значительную деградацию

Источник: shared/data/quants.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →