LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Как обучают LLM

Как обучают LLM

Коротко: «модель, которая умеет чат», — результат трёх стадий: предобучение (язык и знания из огромного корпуса), SFT (формат «инструкция → ответ») и выравнивание (RLHF/DPO — поведение по предпочтениям людей). llama.cpp — про инференс: он не обучает (кроме экспериментального finetune в parking lot).

Стадии

flowchart LR
  P[1. Предобучение<br>триллионы токенов<br>«предскажи следующий токен»] --> S[2. SFT<br>сотни тысяч пар<br>«инструкция → ответ»] --> R[3. Выравнивание<br>RLHF / DPO<br>предпочтения людей]
  R --> M[(instruct-модель,<br>которую вы запускаете)]

Диаграмма mermaid отрисовывается скриптом; если виден только исходник — JS в браузере отключён или не загрузился.

  1. Предобучение (pretraining) — на корпусах в триллионы токенов обучается предсказание следующего токена. Здесь модель получает язык, факты, код; здесь же формируются веса трансформера. Результат — base-модель: умеет продолжать любой текст, но не «отвечать».
  2. SFT (supervised fine-tuning) — дообучение на парах «инструкция → хороший ответ» с чат-форматом. Base-модель превращается в instruct.
  3. Выравнивание — RLHF (обучение на награду «какую реакцию человек назвал бы лучше») или DPO (прямо на парах «лучше/хуже»). Снимает грубость, «вылизывает» стиль, снижает токсичность — и, как побочный эффект, может усиливать галлюцинации (модель учится давать уверенные ответы).

Параллельно существуют и другие ветки: дообучение на коде, на длинном контексте, LoRA-адаптеры для кастомизации.

Практические следствия для пользователя llama.cpp

  • base vs instruct: «модель отвечает мусором/продолжает текст» — чаще всего вы запустили base-модель или потеряли чат-шаблон, а не «сломали» модель.
  • Номера версий/суффиксы (it/instruct/chat) — следствия стадий; данные в карточке модели на HF важнее названия.
  • Обучение — не скоуп llama.cpp: движок применяет готовые веса. Дообучать — другими инструментами; результат (или LoRA) подключается к llama.cpp.
  • Все затраты (датацентры, кластеры GPU) пришлись на стадии 1–3; ваш локальный инференс их только переиспользует.

Связь с llama.cpp

Не применимо напрямую — обучение вне скоупа движка (зафиксировано в CROSSMAP, раздел A). Смежное: подключение результата чужого обучения — LoRA в llama.cpp; экспериментальный llama-finetune — в parking lot.

Что читать дальше

LoRA → Чат-шаблоны → Оценка качества.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию