LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / llama.cpp Handbook / LoRA-адаптеры в llama.cpp

LoRA-адаптеры в llama.cpp

Концепт — LoRA.

Требования

  • База должна совпадать: адаптер обучен для конкретной архитектуры и ревизии весов. «LoRA от другой модели» — главная причина мусора/падений после подключения.
  • Адаптер в формате GGUF. HF-адаптер (safetensors) конвертируется convert_lora_to_gguf.py; в облаке — HF-спейс GGUF-my-LoRA (docs/models.md).

Подключение на старте

# один адаптер
llama-server -m base.gguf --lora adapter.gguf

# несколько адаптеров
llama-server -m base.gguf --lora a1.gguf --lora a2.gguf

# с коэффициентами силы (формат файл:масштаб)
llama-server -m base.gguf --lora-scaled a1.gguf:0.8 --lora-scaled a2.gguf:0.3

# загрузить, но не применять сразу (включить позже через API)
llama-server -m base.gguf --lora a1.gguf --lora-init-without-apply

Переключение на лету (сервер)

# список
curl http://127.0.0.1:9931/lora-adapters

# задать набор (scale 0 = отключить)
curl -X POST http://127.0.0.1:9931/lora-adapters \
  -H "Content-Type: application/json" \
  -d '[{"id":0,"scale":0.8}, {"id":1,"scale":0.0}]'

Тот же эндпоинт описан в server-api; сценарий «одна база — много стилей/языков» живёт именно здесь: база в памяти одна, адаптеры переключаются за доли секунды.

Производительность

  • Адаптер добавляет вычисления в затронутые слои — небольшой, но заметный на «жёстком» CPU штраф; меряйте до/после (llama-bench).
  • Много адаптеров = сложение штрафов; неиспользуемые — со scale 0.
  • Если адаптер «слился» в базу (merge, вне llama.cpp) — файл базы меняется, штраф исчезает, гибкость тоже.

Диагностика

Симптом Вероятная причина
мусор после подключения адаптер от другой базы/ревизии
«tensor not found» при загрузке несовпадение имён тензоров (другая архитектура)
эффект «не применился» scale=0 / адаптер не для этих слоёв
упала скорость ожидаемо; сравните llama-bench

Карта симптомов — troubleshooting; качество после адаптера — diag-quality.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию