Главная / LLM Handbook / Как обучают LLM
Как обучают LLM
Коротко: «модель, которая умеет чат», — результат трёх стадий: предобучение (язык и знания из огромного корпуса), SFT (формат «инструкция → ответ») и выравнивание (RLHF/DPO — поведение по предпочтениям людей). llama.cpp — про инференс: он не обучает (кроме экспериментального finetune в parking lot).
Стадии
flowchart LR
P[1. Предобучение<br>триллионы токенов<br>«предскажи следующий токен»] --> S[2. SFT<br>сотни тысяч пар<br>«инструкция → ответ»] --> R[3. Выравнивание<br>RLHF / DPO<br>предпочтения людей]
R --> M[(instruct-модель,<br>которую вы запускаете)]
Диаграмма mermaid отрисовывается скриптом; если виден только исходник — JS в браузере отключён или не загрузился.
- Предобучение (pretraining) — на корпусах в триллионы токенов обучается предсказание следующего токена. Здесь модель получает язык, факты, код; здесь же формируются веса трансформера. Результат — base-модель: умеет продолжать любой текст, но не «отвечать».
- SFT (supervised fine-tuning) — дообучение на парах «инструкция → хороший ответ» с чат-форматом. Base-модель превращается в instruct.
- Выравнивание — RLHF (обучение на награду «какую реакцию человек назвал бы лучше») или DPO (прямо на парах «лучше/хуже»). Снимает грубость, «вылизывает» стиль, снижает токсичность — и, как побочный эффект, может усиливать галлюцинации (модель учится давать уверенные ответы).
Параллельно существуют и другие ветки: дообучение на коде, на длинном контексте, LoRA-адаптеры для кастомизации.
Практические следствия для пользователя llama.cpp
- base vs instruct: «модель отвечает мусором/продолжает текст» — чаще всего вы запустили base-модель или потеряли чат-шаблон, а не «сломали» модель.
- Номера версий/суффиксы (it/instruct/chat) — следствия стадий; данные в карточке модели на HF важнее названия.
- Обучение — не скоуп llama.cpp: движок применяет готовые веса. Дообучать — другими инструментами; результат (или LoRA) подключается к llama.cpp.
- Все затраты (датацентры, кластеры GPU) пришлись на стадии 1–3; ваш локальный инференс их только переиспользует.
Связь с llama.cpp
Не применимо напрямую — обучение вне скоупа движка (зафиксировано в
CROSSMAP, раздел A). Смежное: подключение результата
чужого обучения — LoRA в llama.cpp; экспериментальный
llama-finetune — в parking lot.
Что читать дальше
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.