LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Ограниченное декодирование

Ограниченное декодирование

Коротко: чтобы модель гарантированно выдавала валидный JSON/регэксп/формат, запрещают токены, нарушающие структуру, ещё на этапе сэмплирования. Механизм: грамматика (GBNF) или JSON-схема → маска разрешённых токенов на каждый шаг.

Как это работает

На каждом шаге генерации движок считает состояние грамматики (какая часть схемы уже выведена) и получает маску: какие токены могут продолжать корректный вывод. Токены вне маски получают −∞ к логитам — они физически не могут быть выбраны, даже если модель их очень «хочет». Распределение переноормируется по оставшимся.

Две формы задания:

  • GBNF — грамматика llama.cpp (расширенный BNF): правила, символьные классы, root как стартовое правило.
  • JSON Schema — стандартная схема JSON; движок компилирует её в грамматику (-j/-jf в CLI, поле json_schema в API).

Опционально — бэкенд LLGuidance (сборка -DLLAMA_LLGUIDANCE=ON): более полный профиль JSON Schema и грамматики в Lark-подобном синтаксисе (%llguidance), см. Грамматики GBNF.

Цена и ловушки

  • Скорость: расчёт маски — микросекунды–миллисекунды на токен; обычно незаметно.
  • Ограничение ≠ правильность: схема гарантирует валидность JSON, но не корректность содержимого — значения может выдумывать как обычно.
  • Модель против схемы: если требуемый вывод маловероятен для модели, она заполняет схему «жестянками» (пустые строки, нули). Качество контента внутри ограничений зависит от модели и промпта.
  • Строгие схемы + маленькие кванты = наихудшее сочетание: слабая модель в узких рамках выдаёт пустоту.

Когда применять

  • Интеграции с софтом, который парсит ответ (API, конфиги, отчёты).
  • Выбор из перечисления (классификация): root ::= "да" | "нет" | "не знаю".
  • Форматы с фиксированной структурой (даты, пути, SQL-подобные запросы).

Не нужно, когда модель и так отвечает JSON по промпту и вы умеете ретраить (ограничения чуть снижают качество формулировок).

Связь с llama.cpp

Практика с примерами (JSON, enum, даты) — Грамматики GBNF; поля API grammar/json_schema — HTTP API llama-server; карточка p.grammar.

Что читать дальше

Сэмплирование → Грамматики GBNF.

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию