LLM-GUIDELLM × llama.cpp Конфигуратор …

q.q5-0

bpw5.5
Когда применятьlegacy (bpw примерный); обычно лучше K-аналог Q5_K_M

Источник: shared/data/quants.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →