LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / Туториалы / Диагностика: OOM и медленная генерация

Диагностика: OOM и медленная генерация

Путь: воспроизводим две классические проблемы на сервере из tut.server, учимся собирать данные и чинить по статьям lcp.diag-*. ~30 минут.

Шаг 0. Универсальный пакет данных

Всегда сначала — данные (полный чек-лист):

llama-cli --version                                   # версия
nvidia-smi                                            # VRAM/термалы (NVIDIA)
llama-bench -m model-Q4_K_M.gguf                      # базовые pp/tg

Сценарий A: OOM при загрузке (err.oom-gpu-load)

  1. Воспроизводим: возьмите модель «на размер больше», чем влезает:
    llama-server -m model-30B-Q4_K_M.gguf -ngl all -c 32768   # ожидаемо падает
    
  2. Читаем лог: какая аллокация упала (веса/KV/compute buffer)? — это и есть дефицитный слагаемое бюджета (разбор).
  3. Чиним по порядку дешевизны (diag-oom):
    # a) KV вдвое меньше (нужен FA):
    llama-server -m model-30B-Q4_K_M.gguf -fa auto -ctk q8_0 -ctv q8_0 -c 32768 -ngl all
    # b) не влезло → часть слоёв на CPU:
    llama-server -m model-30B-Q4_K_M.gguf -c 16384 -ngl 24
    # c) замеряем эффект каждой правки
    
  4. Проверка: запустился? лог показывает полный оффлоад? t/s приемлемы? Почему сработала/не сработала каждая мера — KV-кэш.

Сценарий B: медленная генерация (err.slow-gen)

  1. Классифицируем: tg или pp? (две фазы):
    llama-bench -m model-Q4_K_M.gguf   # свои pp/tg
    
  2. tg низкий → чек-лист diag-slow по порядку: слои на GPU? VRAM-своп? квант тяжёлый (Q6_K/Q8_0 на CPU)? KV гигантский (-c × f16)? потоки/термалы?
  3. pp низкий (первый токен вечность) → -fa, -ub 1024, длина промпта; на сервере проверьте кэш промпта: --cache-prompt (дефолт on) — batching-flags.
  4. Одна переменная за раз, после каждой — llama-bench (методика).

Шаг 1. Негативные проверки (что НЕ виновато)

  • Сэмплирование: --temp 0 -s 42 — детерминизм → скорость/качество не «случайны».
  • Битый файл: --check-tensors — diag-load.
  • Шаблон: /apply-template — сырой промпт корректен (server-api).

Шаг 2. Запишите результат

Формат заметки (по протоколу): версия llama.cpp, модель/квант, конфигурация до → после, замеры до → после, вывод. Это и есть данные для «Объясни результат» (сценарий A3 ассистента).

Куда дальше

Полные маршруты: diag-oom · diag-slow · diag-quality · diag-load. Карта всех симптомов — troubleshooting.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию