Главная / LLM Handbook / LoRA
LoRA
Коротко: LoRA — способ кастомизировать модель маленьким файлом-адаптером (мегабайты вместо гигабайтов): обучаются лишь низкоранговые «надстройки» над частью весов, сама база остаётся нетронутой. llama.cpp умеет подключать адаптеры на лету.
Идея
Полный файнтюн обновляет все веса — файл модели целиком. Наблюдение
LoRA: нужное изменение поведения живёт в подпространстве низкой размерности, поэтому
можно вместо ΔW обучать его разложение:
W' = W + ΔW = W + B·A, где A: r×d, B: d×r, r ≪ d (типично 8–64)
- Обучаются только A и B (применяются к проекциям attention и/или FFN).
- Обновляемые параметры — десятые доли процента от модели; адаптер в десятки–сотни раз меньше базы (rank 16 на 8B ≈ десятки МБ, не ГБ).
- Ранг r — главный калибр: больше r — больше «ёмкость» адаптера, но и больше файл/риск переобучения.
Варианты, о которых стоит знать
- QLoRA — база держится квантованной (4 бит), адаптер обучается поверх: файнтюн на одном consumer-GPU. Обучение всё равно не в llama.cpp (см. training).
- Слияние (merge) —
W'можно записать в веса и получить обычный GGUF; теряется возможность быстрого переключения адаптеров. - Много адаптеров — несколько LoRA поверх одной базы с разными весами
(
--lora-scaled файл:коэффициент).
Ограничения
- Адаптер строго привязан к той же базе (архитектура, веса, ревизия); «LoRA от Llama для Qwen» не работает — частая причина «модель сломалась после подключения».
- LoRA сдвигает стиль/поведение, но не «впрыскивает» много новых знаний — для знаний нужен RAG или полный файнтюн.
- На инференсе адаптер добавляет вычисления в затронутые слои — небольшой штраф к скорости.
Связь с llama.cpp
Подключение адаптеров, конвертация в GGUF, runtime-переключение через сервер
(/lora-adapters) — практическая статья
«LoRA-адаптеры в llama.cpp»; карточки адаптера —
артефакт «LoRA-адаптер» — в матрице артефактов (раздел C).
Что читать дальше
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.