LLM-GUIDELLM × llama.cpp Конфигуратор …

q.q4-k-m

bpw4.89
Размер (8B-модель)4.58 GiB
Когда применятьстандартный выбор по умолчанию для большинства задач

Источник: shared/data/quants.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →