Главная / LLM Handbook / Архитектура Transformer
Архитектура Transformer
Коротко: трансформер — стопка одинаковых блоков «attention + FFN». Веса модели — это веса этих блоков. Всё, что делает llama.cpp, — быстрая математика над этими блоками.
Как это работает
Современные LLM — decoder-only трансформеры. Путь токена через модель:
flowchart LR
T[токены] --> E[embedding-слой]
E --> B1[блок 1<br>attention + FFN]
B1 --> B2[блок 2]
B2 --> BN[... N слоёв ...]
BN --> H[LM head:<br>логиты по словарю]
H --> S[сэмплирование]
Диаграмма mermaid отрисовывается скриптом; если виден только исходник — JS в браузере отключён или не загрузился.
Один блок:
- Attention — каждая позиция «смотрит» на другие позиции и собирает информацию. Детали — в Attention.
- FFN (feed-forward network) — два матричных умножения с нелинейностью; «хранилище знаний»: большая часть параметров модели — здесь (в 2–4 раза больше, чем в attention, в зависимости от архитектуры; у эталонной Llama-3.1-8B ≈ в 2,6 раза).
- Residual-связи и нормализация — выход каждого подблока добавляется к входу
(
x + f(x)), перед подблоками — нормализация активаций (RMSNorm/LayerNorm), сводящая масштаб к единице; её выход превращается в логиты на голове модели. Residual-поток — «шоссе», по которому информация доходит до последних слоёв.
Вокруг блоков:
- Embedding-слой — таблица «номер токена → вектор». Огромный при большом словаре.
- LM head — финальное умножение на словарь, даёт логиты для сэмплирования. У части моделей embedding и LM head связаны (tied).
Параметры — это матрицы всех слоёв: attention (Q/K/V/проекция), FFN, embedding. Число слоёв и их ширина — главные константы архитектуры; их «профиль» определяет и качество, и требования к памяти (включая KV-кэш).
Почему это важно на практике
- «8B», «70B» — это параметры всех матриц сразу; от их архитектурного распределения зависит, сколько памяти займёт не только модель, но и её KV-кэш (варианты attention: MHA/MQA/GQA/MLA).
- Все слои независимы по весам → слои можно разносить по устройствам (GPU-оффлоад).
- Глубина обработки (слоёв много) — причина, почему префилл удобно распараллеливать по токенам, а декод — нет (см. Инференс).
Связь с llama.cpp
- Тензоры и профиль архитектуры (
general.architecture,*.block_countи т.д.) хранятся в метаданных GGUF — llama.cpp строит вычисления из этого описания, см. GGUF. - Слои считаются бэкендами (CPU/CUDA/Vulkan/Metal) — см. Бэкенды.
- Поддержка новых архитектур появляется с новыми версиями llama.cpp; «unsupported architecture» значит, что профиль из GGUF движку незнаком — см. «Модель не загружается».
Что читать дальше
Attention — сердце блока; Как обучают LLM — откуда берутся веса.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.