LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Контекстное окно

Контекстное окно

Коротко: context window — максимум токенов (промпт + история + ответ), которые модель видит одновременно. Всё вне окна для модели не существует. Окно стоит памяти и скорости, а не только «места в интерфейсе».

Из чего складывается контекст

[системный промпт] + [вся история диалога] + [подключённые документы/RAG-фрагменты]
+ [резерв под ответ модели] ≤ размер окна (в токенах)

Практические следствия:

  • Резерв под ответ надо закладывать заранее: модель не допишет текст, который «не влез». Длинный документ в промпте = короче ответ.
  • Считать надо токенами, не словами — см. Токенизация; для русского расходы выше, чем по «количеству знаков ÷ 4».
  • История диалога накапливается: каждое сообщение увеличивает промпт следующего хода.
  • Превышение окна: в llama.cpp — ошибка «request (N tokens) exceeds the available context size» или остановка; context shift (скольжение окна) в v1.0.0 выключен по умолчанию.

Почему окно дорогое

  1. Память: KV-кэш растёт линейно с длиной контекста — при 32k у 8B GQA-модели это уже гигабайты; см. расчёт в статье про KV-кэш.
  2. Время: префилл длинного промпта — квадратичная по длине часть attention; первый токен на 100k промпте ждать заметно дольше.
  3. Качество: «эффективный контекст» у моделей часто меньше заявленного — в глубине окна детали используются хуже (lost-in-the-middle эффект).

Расширение окна

Заявленный контекст модели — обученный. Выход за него требует RoPE-масштабирования с риском незаметной деградации качества. Настроить можно в llama.cpp флагами --rope-scaling и др., но сначала проверьте, что модель действительно обучена на нужной длине.

Связь с llama.cpp

Что Флаг По умолчанию (v1.0.0)
Размер окна -c, --ctx-size 0 = из метаданных GGUF
Сдвиг контекста --context-shift/--no-context-shift дефолт off — p.context-shift
Лимит токенов ответа -n, --n-predict -1 = без лимита
Деление между слотами сервера -np, --parallel server: auto

Карточки: p.ctx-size. Переполнили окно — см. Общая диагностика и err.ctx-overflow в матрице диагностики.

Что читать дальше

KV-кэш → RoPE-масштабирование → Общие флаги llama.cpp.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию