Главная / Слой данных / p.parallel
p.parallel
| Что делает | число слотов/параллельных последовательностей |
|---|---|
| CLI | -np, --parallel |
| Сервер | startup: -np |
| По умолчанию (v1.0.0) | CLI: 1; server: -1 (auto) |
| Диапазон | — |
| Концепт | llm.batching |
| Заметки | слоты делят контекст; continuous batching включен по умолчанию (p.cont-batching) |
Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →