LLM-GUIDELLM × llama.cpp Конфигуратор …

q.q2-k-s

bpw2.97
Размер (8B-модель)2.78 GiB
Когда применятьтолько для очень сильного дефицита

Источник: shared/data/quants.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →