Главная / Слой данных / p.batch-size
p.batch-size
| Что делает | логический макс. батч (обработка промпта) |
|---|---|
| CLI | -b, --batch-size |
| Сервер | startup: -b |
| По умолчанию (v1.0.0) | 2048 |
| Диапазон | — |
| Концепт | llm.batching |
| Заметки | — |
Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →