Главная / llama.cpp Handbook / Модель не загружается
Модель не загружается
Коротко: ошибки загрузки делятся на «файл не GGUF», «профиль неизвестен сборке», «файлы не в комплекте» и «метаданные кривые». Каждая — свой фикс.
По сообщениям
«bad magic» / «invalid magic»
Файл не GGUF: скачалась HTML-страница, обрезался закачкой, или это часть шардирования
(запущен -00002-of-… вместо первого шарда).
- Проверить начало файла:
xxd file.gguf | head -1→ должно начинаться сGGUF. - Перезакачать; запускать полный файл или первый шард нумерованной серии (остальные llama.cpp подхватит автоматически — GGUF).
«unsupported architecture» / «unknown model architecture»
Профиль (general.architecture) из метаданных этой сборке не знаком: модель свежее
сборки или файл повреждён.
- Обновите llama.cpp до свежего стабильного тега (build); поддержка архитектур добавляется релизами.
- Проверьте, что GGUF собран совместимым конвертером (gguf-convert).
- Если точно знаете, что меняли (
--override-kvраннее) — уберите переопределения.
«tensor … not found» / «missing tensors»
Файлы не в комплекте или перемешаны: шардированная модель без части шардов; mmproj от другой модели; LoRA от другой базы (lora-usage).
- Соберите полный комплект шардов; проверьте имена/нумерацию.
- PLE-модели: backbone + PLE-шард через
--shard(docs/models.md) — GGUF.
Ошибка чат-шаблона («the supplied chat template is not supported»)
Jinja-шаблон из GGUF не парсится (кривой экспорт/старая сборка).
- Явный builtin:
--chat-template chatml(или близкий к модели) — chat-templates. - Проверить сырой промпт:
/apply-template— server-api.
«failed to allocate» при загрузке
Это не про формат — про память: diag-oom.
Инструменты проверки
llama-cli --version # сборка свежее модели?
llama-cli -m model.gguf --check-tensors # валидация данных тензоров
# метаданные файла (gguf-py в составе llama.cpp)
python -c "import gguf; r=gguf.GGUFReader('model.gguf'); \
f=r.get_field('general.architecture'); print(bytes(f.parts[-1]).decode()); \
print(len(r.fields), 'fields')"
Профилактика
- Качайте GGUF из проверенных источников; после закачки сверяйте размер (частые «bad magic» — оборванные загрузки).
- Держите llama.cpp на стабильном теге (справочник пиннит v1.0.0), а не на недельном master'е — свежие GGUF-метаданные требуют свежих сборок.
- Эксперименты с
--override-kv— только точечно и с записью, что изменили (протокол справочника).
Карта симптомов — troubleshooting.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.