RoPE и масштабирование контекста
Коротко: RoPE — способ сообщить attention порядок токенов поворотами векторов. За пределами обученной длины контекста модель «теряет счёт позициям»; RoPE-масштабирование растягивает кодировки — работает, но требует проверки качества.
Зачем позиционные кодировки
Attention по построению симметричен: без дополнительной информации «кот съел мышь» и «мышь съела кот» неразличимы. Позиционные кодировки вшивают порядок. Современный стандарт — RoPE (rotary position embedding): векторы Q и K каждой позиции поворачиваются на угол, пропорциональный её номеру; разные измерения вращаются с разными частотами (медленные — «грубый» порядок, быстрые — точные соседства). Скалярное произведение Q·K тогда зависит только от относительной дистанции токенов — именно то, что нужно attention.
Проблема: обученная длина
Частоты RoPE выбираются под максимальную позицию, виденную при обучении (train_ctx).
Дальше — «экстраполяция»: повороты попадают в не виденные конфигурации, и качество резко
падает после некоторой длины (часто заметно раньше номинального предела).
Решения (что крутит --rope-scaling)
| Метод | Идея | Цена |
|---|---|---|
Linear (--rope-scaling linear + --rope-scale) |
делить позиции на множитель, «сжимая» длинный контекст в обученный диапазон | теряется точность близких позиций |
NTK-aware (--rope-freq-base) |
повысить базовую частоту: медленные измерения растягиваются, быстрые сохраняют точность | у llama.cpp нет отдельного значения ntk — это --rope-freq-base |
YaRN (--rope-scaling yarn + --yarn-*) |
комбинация: интерполяция + экстраполяция по измерениям + масштаб внимания | лучший баланс; параметры берут из карточки модели |
Модели, обученные на длинный контекст (и GGUF с соответствующими метаданными), уже содержат нужные параметры — руками трогать не надо. Флаги — для моделей, у которых нужно растянуть окно сверх обученного, или для воспроизведения настроек авторов кванта.
Главное предостережение
Растянутый контекст не равен качественному контексту: модель может формально «принимать» 128k токенов, но терять информацию из середины. После любого RoPE-эксперимента — проверка качества (Оценка качества, llama-perplexity) и наблюдение за факт-точностью в глубине окна.
Связь с llama.cpp
- Флаги:
--rope-scaling {none,linear,yarn},--rope-scale,--rope-freq-base,--rope-freq-scale,--yarn-orig-ctx,--yarn-ext-factor,--yarn-attn-factor,--yarn-beta-slow/fast— карточка p.rope-scaling, таблица в Общих флагах. - Память за расширенный контекст платит KV-кэш — оффлоад и квантование кэша описаны в «GPU-оффлоад».
- Если после растяжения «модель поглупела» — маршрут diag-quality.