Главная / llama.cpp Handbook / Диагностика: карта проблем
Диагностика: карта проблем
Коротко: сначала — данные, потом гипотезы. Эта статья: что собрать перед диагностикой и куда идти с каким симптомом.
Соберите пакет информации (2 минуты)
- Версия/сборка:
llama-cli --version(v1.0.0, dev или пакет?) - Полный лог запуска с verbosity:
В логе: бэкенды/устройства, оффлоад слоёв, размеры KV-кэша и буферов, шаблон чата.llama-server -m model.gguf -v 2>&1 | tee run.log # -v = максимально подробно - Состояние сервера (если запущен):
GET /props— текущие настройки (server-api);GET /slots— состояние слотов;GET /metrics(с--metrics) — очередь/загрузка.
- Замер:
llama-bench -m model.gguf— методика. - GPU:
nvidia-smi(или аналог) — занятость VRAM, температуры, питание.
Этот пакет — то, что просит ассистент в сценарии A3.
Карта «симптом → статья»
| Симптом | ID | Статья |
|---|---|---|
| CUDA/VRAM out of memory при загрузке | err.oom-gpu-load |
diag-oom |
| Процесс убит по RAM (CPU) | err.oom-ram |
diag-oom |
| Медленная генерация (низкий tg) | err.slow-gen |
diag-slow |
| Долгое ожидание первого токена (низкий pp) | err.slow-pp |
diag-slow |
| «Поглупела» после квантования | err.quality-drop |
diag-quality |
| Мусор/повторы/бессвязность | err.garbage |
diag-quality + sampler-flags |
| Не грузится: bad magic / unsupported architecture | err.wont-load |
diag-load |
| Игнорирует роли, «продолжает текст» | err.chat-format |
chat-templates + diag-load |
| «request (N tokens) exceeds the available context size» | err.ctx-overflow |
common-flags + контекст |
Полная матрица с причинами — CROSSMAP, раздел D.
Три частых «виновника»
- Модель не на GPU, где ожидается — лог не упоминает бэкенд/слои (diag-slow).
- Неверный чат-шаблон или base-модель вместо instruct — «продолжает текст» (chat-templates).
- Слишком агрессивный квант без imatrix — «поглупела» (diag-quality).
Правило одной переменной
Меняете одно за раз; после каждого — та же проверка (bench/золотые вопросы). Параллельные правки делают диагноз невозможным (оценка качества).
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.