LLM-GUIDELLM × llama.cpp Конфигуратор …

q.iq4-nl

bpw4.68
Размер (8B-модель)4.38 GiB
Когда применять4-битный нелинейный; вариант для KV-кэша тоже (f8_e4m3/iq4_nl допустимы)

Источник: shared/data/quants.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →