Диагностика: OOM и медленная генерация
Путь: воспроизводим две классические проблемы на сервере из tut.server, учимся собирать данные и чинить по статьям
lcp.diag-*. ~30 минут.
Шаг 0. Универсальный пакет данных
Всегда сначала — данные (полный чек-лист):
llama-cli --version # версия
nvidia-smi # VRAM/термалы (NVIDIA)
llama-bench -m model-Q4_K_M.gguf # базовые pp/tg
Сценарий A: OOM при загрузке (err.oom-gpu-load)
- Воспроизводим: возьмите модель «на размер больше», чем влезает:
llama-server -m model-30B-Q4_K_M.gguf -ngl all -c 32768 # ожидаемо падает - Читаем лог: какая аллокация упала (веса/KV/compute buffer)? — это и есть дефицитный слагаемое бюджета (разбор).
- Чиним по порядку дешевизны (diag-oom):
# a) KV вдвое меньше (нужен FA): llama-server -m model-30B-Q4_K_M.gguf -fa auto -ctk q8_0 -ctv q8_0 -c 32768 -ngl all # b) не влезло → часть слоёв на CPU: llama-server -m model-30B-Q4_K_M.gguf -c 16384 -ngl 24 # c) замеряем эффект каждой правки - Проверка: запустился? лог показывает полный оффлоад? t/s приемлемы? Почему сработала/не сработала каждая мера — KV-кэш.
Сценарий B: медленная генерация (err.slow-gen)
- Классифицируем: tg или pp? (две фазы):
llama-bench -m model-Q4_K_M.gguf # свои pp/tg - tg низкий → чек-лист diag-slow по порядку:
слои на GPU? VRAM-своп? квант тяжёлый (Q6_K/Q8_0 на CPU)? KV гигантский (
-c× f16)? потоки/термалы? - pp низкий (первый токен вечность) →
-fa,-ub 1024, длина промпта; на сервере проверьте кэш промпта:--cache-prompt(дефолт on) — batching-flags. - Одна переменная за раз, после каждой —
llama-bench(методика).
Шаг 1. Негативные проверки (что НЕ виновато)
- Сэмплирование:
--temp 0 -s 42— детерминизм → скорость/качество не «случайны». - Битый файл:
--check-tensors— diag-load. - Шаблон:
/apply-template— сырой промпт корректен (server-api).
Шаг 2. Запишите результат
Формат заметки (по протоколу): версия llama.cpp, модель/квант, конфигурация до → после, замеры до → после, вывод. Это и есть данные для «Объясни результат» (сценарий A3 ассистента).
Куда дальше
Полные маршруты: diag-oom · diag-slow · diag-quality · diag-load. Карта всех симптомов — troubleshooting.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.