KV-кэш
Коротко: KV-кэш — сохранённые K и V всех прошлых токенов, чтобы не пересчитывать их на каждом шаге декода. Платит за это памятью: кэш растёт линейно с контекстом и на длинных контекстах сопоставим с самой моделью.
Зачем нужен
На шаге декода новый токен должен «посмотреть» attention'ом на все предыдущие позиции. K и V этих позиций одинаковы на каждом шаге (позиции не меняются) — значит, их можно вычислить один раз и держать в памяти. Без кэша каждый токен ответа пересчитывал бы весь промпт заново: декод замедлился бы в десятки раз.
Сколько памяти он занимает
байт = 2 (K и V) × n_layers × n_ctx × n_kv_heads × head_dim × bytes(тип)
Пример (типичная 8B GQA-модель: 32 слоя, 8 kv_heads, head_dim 128, f16):
| Контекст | KV-кэш (f16) | KV-кэш (q8_0) | KV-кэш (q4_0) |
|---|---|---|---|
| 8 192 | 1,0 ГиБ | 0,5 ГиБ | 0,25 ГиБ |
| 32 768 | 4,0 ГиБ | 2,0 ГиБ | 1,0 ГиБ |
| 65 536 | 8,0 ГиБ | 4,0 ГиБ | 2,0 ГиБ |
Слагаемые бюджета VRAM: веса + KV-кэш + буферы вычислений + запас — полный разбор
в «GPU-оффлоад» и в calc_memory ассистента.
Чем управляется размер
- Длина контекста (
-c) — линейный множитель; главный рычаг. - Архитектура — число слоёв и
kv_heads: варианты MHA/GQA/MLA дают разницу в разы. - Точность кэша — f16 по умолчанию; квантование кэша (q8_0 → почти вдвое меньше,
q4_0 → в 4) требует FlashAttention (
-fa). - У сервера при нескольких слотах — умножить на число слотов (или использовать общий пул).
Потери при квантовании кэша
Кэш хранит «что вспоминать»: его деградация бьёт по точности воспоминаний (цитаты, длинные связи) раньше, чем по общей связности. q8_0 обычно безопасен, q4_* — проверять на своей задаче (Оценка качества).
Связь с llama.cpp
| Настройка | Флаг (v1.0.0) | Эффект |
|---|---|---|
| Точность K | -ctk, --cache-type-k |
дефолт f16 — p.cache-type-k |
| Точность V | -ctv, --cache-type-v |
дефолт f16 — p.cache-type-v |
| Условие квантования | -fa, --flash-attn |
дефолт auto — p.flash-attn; нужен для квантованных K/V |
| Размер окна | -c, --ctx-size (0 = из модели) |
линейно задаёт размер кэша |
Если после включения квантованного KV «модель разучилась цитировать» — маршрут diag-quality. Не хватает памяти — diag-oom.
Что читать дальше
GPU-оффлоад → Батчинг → diag-oom.