LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Архитектура Transformer

Архитектура Transformer

Коротко: трансформер — стопка одинаковых блоков «attention + FFN». Веса модели — это веса этих блоков. Всё, что делает llama.cpp, — быстрая математика над этими блоками.

Как это работает

Современные LLM — decoder-only трансформеры. Путь токена через модель:

flowchart LR
  T[токены] --> E[embedding-слой]
  E --> B1[блок 1<br>attention + FFN]
  B1 --> B2[блок 2]
  B2 --> BN[... N слоёв ...]
  BN --> H[LM head:<br>логиты по словарю]
  H --> S[сэмплирование]

Диаграмма mermaid отрисовывается скриптом; если виден только исходник — JS в браузере отключён или не загрузился.

Один блок:

  1. Attention — каждая позиция «смотрит» на другие позиции и собирает информацию. Детали — в Attention.
  2. FFN (feed-forward network) — два матричных умножения с нелинейностью; «хранилище знаний»: большая часть параметров модели — здесь (в 2–4 раза больше, чем в attention, в зависимости от архитектуры; у эталонной Llama-3.1-8B ≈ в 2,6 раза).
  3. Residual-связи и нормализация — выход каждого подблока добавляется к входу (x + f(x)), перед подблоками — нормализация активаций (RMSNorm/LayerNorm), сводящая масштаб к единице; её выход превращается в логиты на голове модели. Residual-поток — «шоссе», по которому информация доходит до последних слоёв.

Вокруг блоков:

  • Embedding-слой — таблица «номер токена → вектор». Огромный при большом словаре.
  • LM head — финальное умножение на словарь, даёт логиты для сэмплирования. У части моделей embedding и LM head связаны (tied).

Параметры — это матрицы всех слоёв: attention (Q/K/V/проекция), FFN, embedding. Число слоёв и их ширина — главные константы архитектуры; их «профиль» определяет и качество, и требования к памяти (включая KV-кэш).

Почему это важно на практике

  • «8B», «70B» — это параметры всех матриц сразу; от их архитектурного распределения зависит, сколько памяти займёт не только модель, но и её KV-кэш (варианты attention: MHA/MQA/GQA/MLA).
  • Все слои независимы по весам → слои можно разносить по устройствам (GPU-оффлоад).
  • Глубина обработки (слоёв много) — причина, почему префилл удобно распараллеливать по токенам, а декод — нет (см. Инференс).

Связь с llama.cpp

  • Тензоры и профиль архитектуры (general.architecture, *.block_count и т.д.) хранятся в метаданных GGUF — llama.cpp строит вычисления из этого описания, см. GGUF.
  • Слои считаются бэкендами (CPU/CUDA/Vulkan/Metal) — см. Бэкенды.
  • Поддержка новых архитектур появляется с новыми версиями llama.cpp; «unsupported architecture» значит, что профиль из GGUF движку незнаком — см. «Модель не загружается».

Что читать дальше

Attention — сердце блока; Как обучают LLM — откуда берутся веса.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию