LLM-GUIDELLM × llama.cpp Конфигуратор …

LoRA

Коротко: LoRA — способ кастомизировать модель маленьким файлом-адаптером (мегабайты вместо гигабайтов): обучаются лишь низкоранговые «надстройки» над частью весов, сама база остаётся нетронутой. llama.cpp умеет подключать адаптеры на лету.

Идея

Полный файнтюн обновляет все веса — файл модели целиком. Наблюдение LoRA: нужное изменение поведения живёт в подпространстве низкой размерности, поэтому можно вместо ΔW обучать его разложение:

W' = W + ΔW = W + B·A,   где A: r×d, B: d×r,  r ≪ d (типично 8–64)
  • Обучаются только A и B (применяются к проекциям attention и/или FFN).
  • Обновляемые параметры — десятые доли процента от модели; адаптер в десятки–сотни раз меньше базы (rank 16 на 8B ≈ десятки МБ, не ГБ).
  • Ранг r — главный калибр: больше r — больше «ёмкость» адаптера, но и больше файл/риск переобучения.

Варианты, о которых стоит знать

  • QLoRA — база держится квантованной (4 бит), адаптер обучается поверх: файнтюн на одном consumer-GPU. Обучение всё равно не в llama.cpp (см. training).
  • Слияние (merge) — W' можно записать в веса и получить обычный GGUF; теряется возможность быстрого переключения адаптеров.
  • Много адаптеров — несколько LoRA поверх одной базы с разными весами (--lora-scaled файл:коэффициент).

Ограничения

  • Адаптер строго привязан к той же базе (архитектура, веса, ревизия); «LoRA от Llama для Qwen» не работает — частая причина «модель сломалась после подключения».
  • LoRA сдвигает стиль/поведение, но не «впрыскивает» много новых знаний — для знаний нужен RAG или полный файнтюн.
  • На инференсе адаптер добавляет вычисления в затронутые слои — небольшой штраф к скорости.

Связь с llama.cpp

Подключение адаптеров, конвертация в GGUF, runtime-переключение через сервер (/lora-adapters) — практическая статья «LoRA-адаптеры в llama.cpp»; карточки адаптера — артефакт «LoRA-адаптер» — в матрице артефактов (раздел C).

Что читать дальше

Как обучают LLM → LoRA в llama.cpp.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию