LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / Модель не загружается

Модель не загружается

Коротко: ошибки загрузки делятся на «файл не GGUF», «профиль неизвестен сборке», «файлы не в комплекте» и «метаданные кривые». Каждая — свой фикс.

По сообщениям

«bad magic» / «invalid magic»

Файл не GGUF: скачалась HTML-страница, обрезался закачкой, или это часть шардирования (запущен -00002-of-… вместо первого шарда).

  • Проверить начало файла: xxd file.gguf | head -1 → должно начинаться с GGUF.
  • Перезакачать; запускать полный файл или первый шард нумерованной серии (остальные llama.cpp подхватит автоматически — GGUF).

«unsupported architecture» / «unknown model architecture»

Профиль (general.architecture) из метаданных этой сборке не знаком: модель свежее сборки или файл повреждён.

  • Обновите llama.cpp до свежего стабильного тега (build); поддержка архитектур добавляется релизами.
  • Проверьте, что GGUF собран совместимым конвертером (gguf-convert).
  • Если точно знаете, что меняли (--override-kv раннее) — уберите переопределения.

«tensor … not found» / «missing tensors»

Файлы не в комплекте или перемешаны: шардированная модель без части шардов; mmproj от другой модели; LoRA от другой базы (lora-usage).

  • Соберите полный комплект шардов; проверьте имена/нумерацию.
  • PLE-модели: backbone + PLE-шард через --shard (docs/models.md) — GGUF.

Ошибка чат-шаблона («the supplied chat template is not supported»)

Jinja-шаблон из GGUF не парсится (кривой экспорт/старая сборка).

  • Явный builtin: --chat-template chatml (или близкий к модели) — chat-templates.
  • Проверить сырой промпт: /apply-template — server-api.

«failed to allocate» при загрузке

Это не про формат — про память: diag-oom.

Инструменты проверки

llama-cli --version                 # сборка свежее модели?
llama-cli -m model.gguf --check-tensors   # валидация данных тензоров

# метаданные файла (gguf-py в составе llama.cpp)
python -c "import gguf; r=gguf.GGUFReader('model.gguf'); \
  f=r.get_field('general.architecture'); print(bytes(f.parts[-1]).decode()); \
  print(len(r.fields), 'fields')"

Профилактика

  • Качайте GGUF из проверенных источников; после закачки сверяйте размер (частые «bad magic» — оборванные загрузки).
  • Держите llama.cpp на стабильном теге (справочник пиннит v1.0.0), а не на недельном master'е — свежие GGUF-метаданные требуют свежих сборок.
  • Эксперименты с --override-kv — только точечно и с записью, что изменили (протокол справочника).

Карта симптомов — troubleshooting.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию