Ограниченное декодирование
Коротко: чтобы модель гарантированно выдавала валидный JSON/регэксп/формат, запрещают токены, нарушающие структуру, ещё на этапе сэмплирования. Механизм: грамматика (GBNF) или JSON-схема → маска разрешённых токенов на каждый шаг.
Как это работает
На каждом шаге генерации движок считает состояние грамматики (какая часть схемы уже выведена) и получает маску: какие токены могут продолжать корректный вывод. Токены вне маски получают −∞ к логитам — они физически не могут быть выбраны, даже если модель их очень «хочет». Распределение переноормируется по оставшимся.
Две формы задания:
- GBNF — грамматика llama.cpp (расширенный BNF): правила, символьные классы,
rootкак стартовое правило. - JSON Schema — стандартная схема JSON; движок компилирует её в грамматику
(
-j/-jfв CLI, полеjson_schemaв API).
Опционально — бэкенд LLGuidance (сборка -DLLAMA_LLGUIDANCE=ON): более полный
профиль JSON Schema и грамматики в Lark-подобном синтаксисе (%llguidance),
см. Грамматики GBNF.
Цена и ловушки
- Скорость: расчёт маски — микросекунды–миллисекунды на токен; обычно незаметно.
- Ограничение ≠ правильность: схема гарантирует валидность JSON, но не корректность содержимого — значения может выдумывать как обычно.
- Модель против схемы: если требуемый вывод маловероятен для модели, она заполняет схему «жестянками» (пустые строки, нули). Качество контента внутри ограничений зависит от модели и промпта.
- Строгие схемы + маленькие кванты = наихудшее сочетание: слабая модель в узких рамках выдаёт пустоту.
Когда применять
- Интеграции с софтом, который парсит ответ (API, конфиги, отчёты).
- Выбор из перечисления (классификация):
root ::= "да" | "нет" | "не знаю". - Форматы с фиксированной структурой (даты, пути, SQL-подобные запросы).
Не нужно, когда модель и так отвечает JSON по промпту и вы умеете ретраить (ограничения чуть снижают качество формулировок).
Связь с llama.cpp
Практика с примерами (JSON, enum, даты) —
Грамматики GBNF; поля API grammar/json_schema —
HTTP API llama-server; карточка
p.grammar.