Главная / LLM Handbook / Контекстное окно
Контекстное окно
Коротко: context window — максимум токенов (промпт + история + ответ), которые модель видит одновременно. Всё вне окна для модели не существует. Окно стоит памяти и скорости, а не только «места в интерфейсе».
Из чего складывается контекст
[системный промпт] + [вся история диалога] + [подключённые документы/RAG-фрагменты]
+ [резерв под ответ модели] ≤ размер окна (в токенах)
Практические следствия:
- Резерв под ответ надо закладывать заранее: модель не допишет текст, который «не влез». Длинный документ в промпте = короче ответ.
- Считать надо токенами, не словами — см. Токенизация; для русского расходы выше, чем по «количеству знаков ÷ 4».
- История диалога накапливается: каждое сообщение увеличивает промпт следующего хода.
- Превышение окна: в llama.cpp — ошибка «request (N tokens) exceeds the available context size» или остановка; context shift (скольжение окна) в v1.0.0 выключен по умолчанию.
Почему окно дорогое
- Память: KV-кэш растёт линейно с длиной контекста — при 32k у 8B GQA-модели это уже гигабайты; см. расчёт в статье про KV-кэш.
- Время: префилл длинного промпта — квадратичная по длине часть attention; первый токен на 100k промпте ждать заметно дольше.
- Качество: «эффективный контекст» у моделей часто меньше заявленного — в глубине окна детали используются хуже (lost-in-the-middle эффект).
Расширение окна
Заявленный контекст модели — обученный. Выход за него требует
RoPE-масштабирования с риском незаметной деградации качества.
Настроить можно в llama.cpp флагами --rope-scaling и др., но сначала проверьте, что
модель действительно обучена на нужной длине.
Связь с llama.cpp
| Что | Флаг | По умолчанию (v1.0.0) |
|---|---|---|
| Размер окна | -c, --ctx-size |
0 = из метаданных GGUF |
| Сдвиг контекста | --context-shift/--no-context-shift |
дефолт off — p.context-shift |
| Лимит токенов ответа | -n, --n-predict |
-1 = без лимита |
| Деление между слотами сервера | -np, --parallel |
server: auto |
Карточки: p.ctx-size. Переполнили окно — см.
Общая диагностика и err.ctx-overflow в
матрице диагностики.
Что читать дальше
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.