Батчинг инференса
Коротко: батчинг — обрабатывать несколько запросов (или кусков промпта) за один проход модели. Он повышает пропускную способность сервера, но латентность отдельного запроса может слегка вырасти: батч выгоден «всем сразу», а не каждому лично.
Зачем батчить
Каждый шаг декода читает все веса модели из памяти ради одного токена. Если в этом же проходе посчитать токены для 4 пользователей, веса прочитаются те же один раз, а полезной работы станет в 4 раза больше. Батчинг повышает утилизацию железа почти бесплатно по вычислениям — платой будет память KV-кэша всех активных последовательностей и немного латентности.
Два уровня батчинга
| Уровень | Что батчится | Зачем | Флаги llama.cpp |
|---|---|---|---|
| Физический (ubatch) | куски одного промпта на префилле | утилизация вычислений, скорость pp | -ub, -b — дефолты в p.ubatch-size, p.batch-size |
| Логический (запросы) | несколько параллельных последовательностей | пропускная способность сервера | -np/--parallel, -cb (continuous batching) |
Статический батчинг ждал бы заполнения партии запросов; continuous batching
дозаполняет батч на каждом шаге: завершившийся запрос сразу заменяется новым. Сервер
llama.cpp работает именно так, с слотами (-np).
Trade-offs
- Память: N слотов = N KV-кэшей; контекст
-cделится между слотами (или общий пул). - Латентность: в одном ubatch длинный префилл соседа слегка задерживает ваш декод.
- Скорость отдельного запроса не растёт: батчинг — про «сколько запросов в минуту выдержит сервер», не про «как быстро один ответ».
Связь с llama.cpp
Практический разбор флагов и настройки сервера — «Батчинг: -b, -ub, --parallel» и «llama-server»; замер эффекта — llama-bench.
Что читать дальше
Инференс → KV-кэш → llama-server.