LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Батчинг инференса

Батчинг инференса

Коротко: батчинг — обрабатывать несколько запросов (или кусков промпта) за один проход модели. Он повышает пропускную способность сервера, но латентность отдельного запроса может слегка вырасти: батч выгоден «всем сразу», а не каждому лично.

Зачем батчить

Каждый шаг декода читает все веса модели из памяти ради одного токена. Если в этом же проходе посчитать токены для 4 пользователей, веса прочитаются те же один раз, а полезной работы станет в 4 раза больше. Батчинг повышает утилизацию железа почти бесплатно по вычислениям — платой будет память KV-кэша всех активных последовательностей и немного латентности.

Два уровня батчинга

Уровень Что батчится Зачем Флаги llama.cpp
Физический (ubatch) куски одного промпта на префилле утилизация вычислений, скорость pp -ub, -b — дефолты в p.ubatch-size, p.batch-size
Логический (запросы) несколько параллельных последовательностей пропускная способность сервера -np/--parallel, -cb (continuous batching)

Статический батчинг ждал бы заполнения партии запросов; continuous batching дозаполняет батч на каждом шаге: завершившийся запрос сразу заменяется новым. Сервер llama.cpp работает именно так, с слотами (-np).

Trade-offs

  • Память: N слотов = N KV-кэшей; контекст -c делится между слотами (или общий пул).
  • Латентность: в одном ubatch длинный префилл соседа слегка задерживает ваш декод.
  • Скорость отдельного запроса не растёт: батчинг — про «сколько запросов в минуту выдержит сервер», не про «как быстро один ответ».

Связь с llama.cpp

Практический разбор флагов и настройки сервера — «Батчинг: -b, -ub, --parallel» и «llama-server»; замер эффекта — llama-bench.

Что читать дальше

Инференс → KV-кэш → llama-server.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию