LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Не хватает памяти (OOM)

Не хватает памяти (OOM)

Коротко: OOM = бюджет меньше потребностей. Потребности: веса + KV-кэш + буферы + запас (разбор). Чинится в порядке «дешёвые → дорогие» меры.

Симптомы

  • err.oom-gpu-load: «CUDA out of memory» / «failed to allocate … buffer» при загрузке или первых генерациях.
  • err.oom-ram: процесс убит ОС (Linux: OOM-killer в dmesg) или крах аллокации RAM.
  • Краш после длинного промпта/в середине диалога — это чаще KV-кэш, чем веса.

Быстрые проверки

# что занимает VRAM (NVIDIA): другой процесс? незакрытая копия сервера?
nvidia-smi
# что llama.cpp собирался разместить: полный лог
llama-server -m model.gguf -v 2>&1 | grep -Ei "offload|buffer|kv|memory|compute"

Меры по возрастанию цены

1. KV-кэш (дешёво и часто достаточно)

  • -ctk q8_0 -ctv q8_0 (с -fa): кэш вдвое меньше; качество почти не теряется (KV-кэш).
  • -c меньше: 32768→16384 — кэш вдвое меньше; реально ли вам нужен этот контекст?
  • У сервера: -np — контекст делится между слотами; уменьшите слоты или учтите деление -c (раскладка KV при auto-слотах зависит от --kv-unified, v1.0.0).

2. Буферы вычислений

  • -ub 256 (с 512): пиковые буферы меньше, pp чуть медленнее — почти бесплатная мера.

3. Веса (дорого по качеству, дёшево по памяти)

  • Меньший квант: Q5_K_M→Q4_K_M ≈ −15% файла; Q4_K_M→IQ4_XS ещё −10% (imatrix). Деградацию — проверить (diag-quality).
  • -ngl N: часть слоёв на CPU — VRAM освобождается, tg падает (gpu-offload).
  • MoE: -cmoe/-ncmoe — эксперты в CPU, + MoE-кэш (--moe-cache-mib) (gpu-offload).

4. RAM (CPU OOM)

  • -lm auto/mmap (v1.0.0: заменил --no-mmap): без mlock страницы могут выгружаться — mlock требует RAM «навсегда», уберите его.
  • -lzm auto — ленивая загрузка крупных тензоров.
  • Шардированный GGUF: все шарды на быстром диске; с --mmap/lazy-загрузкой не вся память нужна сразу, но закладывайте запас — считайте RAM ≥ размера файла + контекстные буферы.

v1.0.0: fit-механизм

-fit on (дефолт) сам подгоняет unset-аргументы под память с запасом -fitt (1024 MiB), но не опускает контекст ниже -fitc (4096). Практические выводы:

  • Если OOM всё же случился — ваши явные аргументы (-c, -ngl) переехали за бюджет: пересчитайте (бюджет).
  • Если сервер «сам» поднял контекст/слои не так, как вы ожидали — это fit; задайте аргументы явно.
  • Крайняя мера драйвера NVIDIA: GGML_CUDA_ENABLE_UNIFIED_MEMORY=1 (Linux) — своп VRAM в RAM вместо краха; медленно, но позволяет дожить до перезапуска (docs/build.md).

Профилактика

Считайте бюджет до запуска (формулы в KV-кэш + quant-types); планировщик — calc_memory ассистента. Карта симптомов — troubleshooting.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию