# Типы квантования GGUF — основа расчёта размера модели (calc_memory). # # ВЕРИФИЦИРОВАНО по llama.cpp v1.0.0 (пиннинг 2026-11-15): # bpw и размеры — измеренные значения из tools/quantize/README.md (Llama 3.1 8B, # pp/tg на CPU-сборке). bpw слегка варьируется между архитектурами — для прикидки # достаточно, для точного размера — смотреть фактический файл. # Скорости в таблице — та конкретная сборка/железо; не переносить на другие машины. schema: id: "q." family: legacy | k | i bpw: bits per weight (измерено, Llama 3.1 8B) size_gib_8b: размер файла 8B-модели, GiB (измерено) use: когда выбирать verified: true # сверено с v1.0.0 tools/quantize/README.md verified_at: "2026-11-15" version: "v1.0.0" quants: # --- F16 (базовая точка) --- - {id: q.f16, family: legacy, bpw: 16.0, size_gib_8b: 14.96, use: эталон качества; конвертация из HF; квантование начинается отсюда} # --- Legacy-кванты (простые поблочные) --- - {id: q.q8-0, family: legacy, bpw: 8.5, size_gib_8b: 7.95, use: почти без потерь; когда память позволяет или для черновых сравнений} - {id: q.q5-0, family: legacy, bpw: 5.5, size_gib_8b: null, use: legacy (bpw примерный); обычно лучше K-аналог Q5_K_M} - {id: q.q5-1, family: legacy, bpw: 6.0, size_gib_8b: null, use: legacy (bpw примерный); редко нужен} - {id: q.q4-0, family: legacy, bpw: 4.5, size_gib_8b: null, use: legacy (bpw примерный); совместимость со старыми сборками} - {id: q.q4-1, family: legacy, bpw: 5.0, size_gib_8b: null, use: legacy (bpw примерный); редко нужен} # --- K-кванты (суперблоки, основной выбор) --- - {id: q.q6-k, family: k, bpw: 6.56, size_gib_8b: 6.14, use: практически без заметных потерь, сильно меньше Q8_0} - {id: q.q5-k-m, family: k, bpw: 5.70, size_gib_8b: 5.33, use: отличный баланс качество/размер} - {id: q.q5-k-s, family: k, bpw: 5.57, size_gib_8b: 5.21, use: чуть компактнее Q5_K_M} - {id: q.q4-k-m, family: k, bpw: 4.89, size_gib_8b: 4.58, use: стандартный выбор по умолчанию для большинства задач} - {id: q.q4-k-s, family: k, bpw: 4.67, size_gib_8b: 4.36, use: компактнее Q4_K_M при минимальной потере} - {id: q.q3-k-l, family: k, bpw: 4.30, size_gib_8b: 4.02, use: граница заметной деградации; проверить на своей задаче} - {id: q.q3-k-m, family: k, bpw: 4.00, size_gib_8b: 3.74, use: заметные потери; обязательно проверять качеством} - {id: q.q3-k-s, family: k, bpw: 3.64, size_gib_8b: 3.41, use: для сильного дефицита памяти} - {id: q.q2-k, family: k, bpw: 3.16, size_gib_8b: 2.95, use: крайний случай; ожидать значительную деградацию} - {id: q.q2-k-s, family: k, bpw: 2.97, size_gib_8b: 2.78, use: только для очень сильного дефицита} # --- I-кванты (нелинейные кодовые книги; почти всегда с imatrix) --- - {id: q.iq4-nl, family: i, bpw: 4.68, size_gib_8b: 4.38, use: 4-битный нелинейный; вариант для KV-кэша тоже (f8_e4m3/iq4_nl допустимы)} - {id: q.iq4-xs, family: i, bpw: 4.46, size_gib_8b: 4.17, use: компактнее Q4_K_S; считать с imatrix} - {id: q.iq3-m, family: i, bpw: 3.76, size_gib_8b: 3.52, use: лучший из 3-битных; только с imatrix} - {id: q.iq3-s, family: i, bpw: 3.66, size_gib_8b: 3.42, use: с imatrix} - {id: q.iq3-xs, family: i, bpw: 3.50, size_gib_8b: 3.27, use: с imatrix} - {id: q.iq3-xxs, family: i, bpw: 3.25, size_gib_8b: 3.04, use: с imatrix} - {id: q.iq2-m, family: i, bpw: 2.93, size_gib_8b: 2.74, use: экстремальное сжатие; строго с imatrix} - {id: q.iq2-xs, family: i, bpw: 2.59, size_gib_8b: 2.42, use: экстремальное сжатие} - {id: q.iq2-xxs, family: i, bpw: 2.38, size_gib_8b: 2.23, use: экстремальное сжатие} - {id: q.iq1-m, family: i, bpw: 2.15, size_gib_8b: 2.01, use: «влезло любой ценой»; качество резко падает} - {id: q.iq1-s, family: i, bpw: 2.00, size_gib_8b: 1.87, use: минимально возможное; ожидаемо плохо} # Замечания v1.0.0: # - скорости генерации НЕ монотонны по bpw: меньше бит ≠ всегда быстрее # (в таблице README tg падает у Q6_K/Q8_0 против Q4_K на CPU-инференсе). # - типы KV-кэша (f32, f16, bf16, f8_e4m3, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1) — # отдельная ось, см. p.cache-type-k/v. # - QAT-модели (например Gemma 3 QAT) квантованы при обучении — к ним это не применяется.