LLM-GUIDELLM × llama.cpp Конфигуратор …

q.f16

bpw16
Размер (8B-модель)14.96 GiB
Когда применятьэталон качества; конвертация из HF; квантование начинается отсюда

Источник: shared/data/quants.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →