LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Инференс: префилл и декод

Инференс: префилл и декод

Коротко: инференс — применение обученной модели: по контексту модель генерирует токен за токеном. Фаза обработки промпта (префилл) и фаза генерации ответа (декод) устроены по-разному и замеряются отдельно — отсюда два числа в выводе llama-bench: pp и tg.

Цикл авторегрессии

промпт → префилл (все токены промпта за один или несколько проходов)
       → сэмпл первого токена → добавить в контекст → шаг декода
       → сэмпл следующего токена → ... до EOS или лимита

Каждый шаг декода — полный проход всех слоёв ради одного нового токена; сгенерированный токен немедленно становится частью входа следующего шага (авторегрессия).

Две фазы, две физики

Фаза Что происходит Узкое место Метрика llama-bench
Префилл токены промпта обрабатываются параллельно (батчами -ub) вычисления (compute-bound) pp (prompt processing), токенов/с
Декод по одному токену за шаг, каждый шаг читает все веса + KV-кэш память (memory-bandwidth-bound) tg (text generation), токенов/с

Отсюда типовые наблюдения:

  • Первый токен ждётся дольше — это префилл; его длительность пропорциональна длине промпта (большой контекст/документы = долгий старт). TTFT (time-to-first-token).
  • Скорость ответа ≈ tg — на неё слабо влияет длина промпта (уже обработан) и сильно — размер модели, квант и бэкенд.
  • Префилл легко ускоряется батчингом и GPU; декод на CPU ограничен пропускной способностью RAM, поэтому GPU-оффлоад даёт основной прирост именно в tg.

Почему «инференс ≠ обучение»

На инференсе веса неизменны; всё, что «запоминает» сессия, — KV-кэш текущих токенов. Дообучение — отдельный процесс и отдельный софт (Как обучают LLM).

Связь с llama.cpp

Что читать дальше

KV-кэш → Батчинг → llama-bench.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию