Главная / Слой данных / p.ubatch-size
p.ubatch-size
| Что делает | физический макс. микро-батч вычислений |
|---|---|
| CLI | -ub, --ubatch-size |
| Сервер | startup: -ub |
| По умолчанию (v1.0.0) | 512 |
| Диапазон | — |
| Концепт | llm.batching |
| Заметки | главный рычаг скорости префилла (g.prefill); растит пиковую память |
Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →