LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / RoPE и масштабирование контекста

RoPE и масштабирование контекста

Коротко: RoPE — способ сообщить attention порядок токенов поворотами векторов. За пределами обученной длины контекста модель «теряет счёт позициям»; RoPE-масштабирование растягивает кодировки — работает, но требует проверки качества.

Зачем позиционные кодировки

Attention по построению симметричен: без дополнительной информации «кот съел мышь» и «мышь съела кот» неразличимы. Позиционные кодировки вшивают порядок. Современный стандарт — RoPE (rotary position embedding): векторы Q и K каждой позиции поворачиваются на угол, пропорциональный её номеру; разные измерения вращаются с разными частотами (медленные — «грубый» порядок, быстрые — точные соседства). Скалярное произведение Q·K тогда зависит только от относительной дистанции токенов — именно то, что нужно attention.

Проблема: обученная длина

Частоты RoPE выбираются под максимальную позицию, виденную при обучении (train_ctx). Дальше — «экстраполяция»: повороты попадают в не виденные конфигурации, и качество резко падает после некоторой длины (часто заметно раньше номинального предела).

Решения (что крутит --rope-scaling)

Метод Идея Цена
Linear (--rope-scaling linear + --rope-scale) делить позиции на множитель, «сжимая» длинный контекст в обученный диапазон теряется точность близких позиций
NTK-aware (--rope-freq-base) повысить базовую частоту: медленные измерения растягиваются, быстрые сохраняют точность у llama.cpp нет отдельного значения ntk — это --rope-freq-base
YaRN (--rope-scaling yarn + --yarn-*) комбинация: интерполяция + экстра­поляция по измерениям + масштаб внимания лучший баланс; параметры берут из карточки модели

Модели, обученные на длинный контекст (и GGUF с соответствующими метаданными), уже содержат нужные параметры — руками трогать не надо. Флаги — для моделей, у которых нужно растянуть окно сверх обученного, или для воспроизведения настроек авторов кванта.

Главное предостережение

Растянутый контекст не равен качественному контексту: модель может формально «принимать» 128k токенов, но терять информацию из середины. После любого RoPE-эксперимента — проверка качества (Оценка качества, llama-perplexity) и наблюдение за факт-точностью в глубине окна.

Связь с llama.cpp

  • Флаги: --rope-scaling {none,linear,yarn}, --rope-scale, --rope-freq-base, --rope-freq-scale, --yarn-orig-ctx, --yarn-ext-factor, --yarn-attn-factor, --yarn-beta-slow/fast — карточка p.rope-scaling, таблица в Общих флагах.
  • Память за расширенный контекст платит KV-кэш — оффлоад и квантование кэша описаны в «GPU-оффлоад».
  • Если после растяжения «модель поглупела» — маршрут diag-quality.

Что читать дальше

Контекстное окно → Оценка качества.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию