Главная / LLM Handbook / Инференс: префилл и декод
Инференс: префилл и декод
Коротко: инференс — применение обученной модели: по контексту модель генерирует токен за токеном. Фаза обработки промпта (префилл) и фаза генерации ответа (декод) устроены по-разному и замеряются отдельно — отсюда два числа в выводе
llama-bench: pp и tg.
Цикл авторегрессии
промпт → префилл (все токены промпта за один или несколько проходов)
→ сэмпл первого токена → добавить в контекст → шаг декода
→ сэмпл следующего токена → ... до EOS или лимита
Каждый шаг декода — полный проход всех слоёв ради одного нового токена; сгенерированный токен немедленно становится частью входа следующего шага (авторегрессия).
Две фазы, две физики
| Фаза | Что происходит | Узкое место | Метрика llama-bench |
|---|---|---|---|
| Префилл | токены промпта обрабатываются параллельно (батчами -ub) |
вычисления (compute-bound) | pp (prompt processing), токенов/с |
| Декод | по одному токену за шаг, каждый шаг читает все веса + KV-кэш | память (memory-bandwidth-bound) | tg (text generation), токенов/с |
Отсюда типовые наблюдения:
- Первый токен ждётся дольше — это префилл; его длительность пропорциональна длине промпта (большой контекст/документы = долгий старт). TTFT (time-to-first-token).
- Скорость ответа ≈ tg — на неё слабо влияет длина промпта (уже обработан) и сильно — размер модели, квант и бэкенд.
- Префилл легко ускоряется батчингом и GPU; декод на CPU ограничен пропускной способностью RAM, поэтому GPU-оффлоад даёт основной прирост именно в tg.
Почему «инференс ≠ обучение»
На инференсе веса неизменны; всё, что «запоминает» сессия, — KV-кэш текущих токенов. Дообучение — отдельный процесс и отдельный софт (Как обучают LLM).
Связь с llama.cpp
- Замеры pp/tg —
llama-bench: методика в «llama-bench: замер производительности». - Ускорение префилла:
-ub,-fa,-tb— «Батчинг и слоты». - Медленная генерация/префилл — маршруты diag-slow и perf-tuning.
Что читать дальше
KV-кэш → Батчинг → llama-bench.
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.