LLM-GUIDELLM × llama.cpp Конфигуратор …

q.q8-0

bpw8.5
Размер (8B-модель)7.95 GiB
Когда применятьпочти без потерь; когда память позволяет или для черновых сравнений

Источник: shared/data/quants.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →