LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Диагностика: карта проблем

Диагностика: карта проблем

Коротко: сначала — данные, потом гипотезы. Эта статья: что собрать перед диагностикой и куда идти с каким симптомом.

Соберите пакет информации (2 минуты)

  1. Версия/сборка: llama-cli --version (v1.0.0, dev или пакет?)
  2. Полный лог запуска с verbosity:
    llama-server -m model.gguf -v 2>&1 | tee run.log   # -v = максимально подробно
    
    В логе: бэкенды/устройства, оффлоад слоёв, размеры KV-кэша и буферов, шаблон чата.
  3. Состояние сервера (если запущен):
    • GET /props — текущие настройки (server-api);
    • GET /slots — состояние слотов; GET /metrics (с --metrics) — очередь/загрузка.
  4. Замер: llama-bench -m model.gguf — методика.
  5. GPU: nvidia-smi (или аналог) — занятость VRAM, температуры, питание.

Этот пакет — то, что просит ассистент в сценарии A3.

Карта «симптом → статья»

Симптом ID Статья
CUDA/VRAM out of memory при загрузке err.oom-gpu-load diag-oom
Процесс убит по RAM (CPU) err.oom-ram diag-oom
Медленная генерация (низкий tg) err.slow-gen diag-slow
Долгое ожидание первого токена (низкий pp) err.slow-pp diag-slow
«Поглупела» после квантования err.quality-drop diag-quality
Мусор/повторы/бессвязность err.garbage diag-quality + sampler-flags
Не грузится: bad magic / unsupported architecture err.wont-load diag-load
Игнорирует роли, «продолжает текст» err.chat-format chat-templates + diag-load
«request (N tokens) exceeds the available context size» err.ctx-overflow common-flags + контекст

Полная матрица с причинами — CROSSMAP, раздел D.

Три частых «виновника»

  1. Модель не на GPU, где ожидается — лог не упоминает бэкенд/слои (diag-slow).
  2. Неверный чат-шаблон или base-модель вместо instruct — «продолжает текст» (chat-templates).
  3. Слишком агрессивный квант без imatrix — «поглупела» (diag-quality).

Правило одной переменной

Меняете одно за раз; после каждого — та же проверка (bench/золотые вопросы). Параллельные правки делают диагноз невозможным (оценка качества).

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию