Главная / Слой данных / p.cont-batching
p.cont-batching
| Что делает | непрерывный батчинг запросов сервера |
|---|---|
| CLI | -cb, --cont-batching / -nocb, --no-cont-batching |
| Сервер | startup: -cb |
| По умолчанию (v1.0.0) | enabled |
| Диапазон | on/off |
| Концепт | llm.batching |
| Заметки | — |
Источник: shared/data/parameters.yaml — единый источник истины. · Подобрать конфигурацию под своё железо →