LLM-GUIDELLM × llama.cpp Конфигуратор …

KV-кэш

Коротко: KV-кэш — сохранённые K и V всех прошлых токенов, чтобы не пересчитывать их на каждом шаге декода. Платит за это памятью: кэш растёт линейно с контекстом и на длинных контекстах сопоставим с самой моделью.

Зачем нужен

На шаге декода новый токен должен «посмотреть» attention'ом на все предыдущие позиции. K и V этих позиций одинаковы на каждом шаге (позиции не меняются) — значит, их можно вычислить один раз и держать в памяти. Без кэша каждый токен ответа пересчитывал бы весь промпт заново: декод замедлился бы в десятки раз.

Сколько памяти он занимает

байт = 2 (K и V) × n_layers × n_ctx × n_kv_heads × head_dim × bytes(тип)

Пример (типичная 8B GQA-модель: 32 слоя, 8 kv_heads, head_dim 128, f16):

Контекст KV-кэш (f16) KV-кэш (q8_0) KV-кэш (q4_0)
8 192 1,0 ГиБ 0,5 ГиБ 0,25 ГиБ
32 768 4,0 ГиБ 2,0 ГиБ 1,0 ГиБ
65 536 8,0 ГиБ 4,0 ГиБ 2,0 ГиБ

Слагаемые бюджета VRAM: веса + KV-кэш + буферы вычислений + запас — полный разбор в «GPU-оффлоад» и в calc_memory ассистента.

Чем управляется размер

  1. Длина контекста (-c) — линейный множитель; главный рычаг.
  2. Архитектура — число слоёв и kv_heads: варианты MHA/GQA/MLA дают разницу в разы.
  3. Точность кэша — f16 по умолчанию; квантование кэша (q8_0 → почти вдвое меньше, q4_0 → в 4) требует FlashAttention (-fa).
  4. У сервера при нескольких слотах — умножить на число слотов (или использовать общий пул).

Потери при квантовании кэша

Кэш хранит «что вспоминать»: его деградация бьёт по точности воспоминаний (цитаты, длинные связи) раньше, чем по общей связности. q8_0 обычно безопасен, q4_* — проверять на своей задаче (Оценка качества).

Связь с llama.cpp

Настройка Флаг (v1.0.0) Эффект
Точность K -ctk, --cache-type-k дефолт f16 — p.cache-type-k
Точность V -ctv, --cache-type-v дефолт f16 — p.cache-type-v
Условие квантования -fa, --flash-attn дефолт auto — p.flash-attn; нужен для квантованных K/V
Размер окна -c, --ctx-size (0 = из модели) линейно задаёт размер кэша

Если после включения квантованного KV «модель разучилась цитировать» — маршрут diag-quality. Не хватает памяти — diag-oom.

Что читать дальше

GPU-оффлоад → Батчинг → diag-oom.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию