Главная / llama.cpp Handbook / LoRA-адаптеры в llama.cpp
LoRA-адаптеры в llama.cpp
Концепт — LoRA.
Требования
- База должна совпадать: адаптер обучен для конкретной архитектуры и ревизии весов. «LoRA от другой модели» — главная причина мусора/падений после подключения.
- Адаптер в формате GGUF. HF-адаптер (safetensors) конвертируется
convert_lora_to_gguf.py; в облаке — HF-спейс GGUF-my-LoRA (docs/models.md).
Подключение на старте
# один адаптер
llama-server -m base.gguf --lora adapter.gguf
# несколько адаптеров
llama-server -m base.gguf --lora a1.gguf --lora a2.gguf
# с коэффициентами силы (формат файл:масштаб)
llama-server -m base.gguf --lora-scaled a1.gguf:0.8 --lora-scaled a2.gguf:0.3
# загрузить, но не применять сразу (включить позже через API)
llama-server -m base.gguf --lora a1.gguf --lora-init-without-apply
Переключение на лету (сервер)
# список
curl http://127.0.0.1:9931/lora-adapters
# задать набор (scale 0 = отключить)
curl -X POST http://127.0.0.1:9931/lora-adapters \
-H "Content-Type: application/json" \
-d '[{"id":0,"scale":0.8}, {"id":1,"scale":0.0}]'
Тот же эндпоинт описан в server-api; сценарий «одна база — много стилей/языков» живёт именно здесь: база в памяти одна, адаптеры переключаются за доли секунды.
Производительность
- Адаптер добавляет вычисления в затронутые слои — небольшой, но заметный на «жёстком» CPU штраф; меряйте до/после (llama-bench).
- Много адаптеров = сложение штрафов; неиспользуемые — со scale 0.
- Если адаптер «слился» в базу (merge, вне llama.cpp) — файл базы меняется, штраф исчезает, гибкость тоже.
Диагностика
| Симптом | Вероятная причина |
|---|---|
| мусор после подключения | адаптер от другой базы/ревизии |
| «tensor not found» при загрузке | несовпадение имён тензоров (другая архитектура) |
| эффект «не применился» | scale=0 / адаптер не для этих слоёв |
| упала скорость | ожидаемо; сравните llama-bench |
Карта симптомов — troubleshooting; качество после адаптера — diag-quality.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.