Главная / llama.cpp Handbook / Не хватает памяти (OOM)
Не хватает памяти (OOM)
Коротко: OOM = бюджет меньше потребностей. Потребности: веса + KV-кэш + буферы + запас (разбор). Чинится в порядке «дешёвые → дорогие» меры.
Симптомы
err.oom-gpu-load: «CUDA out of memory» / «failed to allocate … buffer» при загрузке или первых генерациях.err.oom-ram: процесс убит ОС (Linux: OOM-killer в dmesg) или крах аллокации RAM.- Краш после длинного промпта/в середине диалога — это чаще KV-кэш, чем веса.
Быстрые проверки
# что занимает VRAM (NVIDIA): другой процесс? незакрытая копия сервера?
nvidia-smi
# что llama.cpp собирался разместить: полный лог
llama-server -m model.gguf -v 2>&1 | grep -Ei "offload|buffer|kv|memory|compute"
Меры по возрастанию цены
1. KV-кэш (дешёво и часто достаточно)
-ctk q8_0 -ctv q8_0(с-fa): кэш вдвое меньше; качество почти не теряется (KV-кэш).-cменьше: 32768→16384 — кэш вдвое меньше; реально ли вам нужен этот контекст?- У сервера:
-np— контекст делится между слотами; уменьшите слоты или учтите деление-c(раскладка KV при auto-слотах зависит от--kv-unified, v1.0.0).
2. Буферы вычислений
-ub 256(с 512): пиковые буферы меньше, pp чуть медленнее — почти бесплатная мера.
3. Веса (дорого по качеству, дёшево по памяти)
- Меньший квант: Q5_K_M→Q4_K_M ≈ −15% файла; Q4_K_M→IQ4_XS ещё −10% (imatrix). Деградацию — проверить (diag-quality).
-ngl N: часть слоёв на CPU — VRAM освобождается, tg падает (gpu-offload).- MoE:
-cmoe/-ncmoe— эксперты в CPU, + MoE-кэш (--moe-cache-mib) (gpu-offload).
4. RAM (CPU OOM)
-lm auto/mmap(v1.0.0: заменил--no-mmap): безmlockстраницы могут выгружаться — mlock требует RAM «навсегда», уберите его.-lzm auto— ленивая загрузка крупных тензоров.- Шардированный GGUF: все шарды на быстром диске; с
--mmap/lazy-загрузкой не вся память нужна сразу, но закладывайте запас — считайте RAM ≥ размера файла + контекстные буферы.
v1.0.0: fit-механизм
-fit on (дефолт) сам подгоняет unset-аргументы под память с запасом -fitt
(1024 MiB), но не опускает контекст ниже -fitc (4096). Практические выводы:
- Если OOM всё же случился — ваши явные аргументы (
-c,-ngl) переехали за бюджет: пересчитайте (бюджет). - Если сервер «сам» поднял контекст/слои не так, как вы ожидали — это fit; задайте аргументы явно.
- Крайняя мера драйвера NVIDIA:
GGML_CUDA_ENABLE_UNIFIED_MEMORY=1(Linux) — своп VRAM в RAM вместо краха; медленно, но позволяет дожить до перезапуска (docs/build.md).
Профилактика
Считайте бюджет до запуска (формулы в KV-кэш +
quant-types); планировщик — calc_memory
ассистента. Карта симптомов — troubleshooting.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.