BroadRouter
Magsimula

Structured output

Na-update

Ang structured output ay feature ng LLM API na naglilimita sa sagot ng model sa format na itinakda ng developer, kadalasang JSON Schema, para maaasahang ma-parse ito ng code. Mas mahigpit ito kaysa sa JSON mode, na gumagarantiya ng valid na JSON pero hindi ng partikular na hugis.

Tinatawag ding: structured outputs, JSON output, JSON schema output, response_format

Kailangan ng code ng mahuhulaang input. Ginagawa ng structured output na data na mapagkakatiwalaan ng program mo ang malayang text ng model.

Paano ito gumagana

May tatlong antas ng kontrol:

Paraan Ano ang makukuha mo
Hilingin sa prompt Kadalasang JSON, minsan may sobrang text o kulang na field
JSON mode Valid na JSON, kahit anong hugis
Structured output na may schema JSON na tugma sa schema mo

Sa format ng OpenAI, response_format: {"type": "json_object"} ang JSON mode. Nagpapasa naman ng schema ang structured output:

"response_format": {
  "type": "json_schema",
  "json_schema": {
    "name": "invoice",
    "strict": true,
    "schema": {
      "type": "object",
      "properties": {
        "vendor": { "type": "string" },
        "total": { "type": "number" }
      },
      "required": ["vendor", "total"],
      "additionalProperties": false
    }
  }
}

Ayon sa reference ng OpenAI, ang json_schema type ay “ensures the model will match your supplied JSON schema.” (Salin ng BroadRouter: “tumitiyak na tutugma ang model sa JSON schema na ibinigay mo.”) Maraming provider ang gumagawa nito gamit ang constrained decoding: nililimitahan kung aling mga token ang puwedeng buuin ng model sa bawat hakbang, kaya hindi mabubuo ang output na lumalabag sa schema.

Bakit ito mahalaga

  • Mas kaunting parse error. Direktang nababasa ng mga extraction pipeline, classifier at agent ang mga field.
  • Mas simpleng prompt. Pinapalitan ng schema ang mahahabang instruction tungkol sa format.
  • Hindi buong garantiya. Ayon sa gabay ng OpenAI, dapat pa ring i-handle ng app mo ang mga pagtanggi, hindi kumpletong response at error. Sirang JSON ang sagot na naputol ng max_tokens, anuman ang sinasabi ng schema.

Iba-iba ang suporta sa mga OpenAI-compatible API. May tumatanggap lang ng json_schema, may tumatanggap lang ng json_object, at may hindi pumapansin sa field. Suriin muna bago ka umasa rito.

Sa BroadNet Inference

Nakalista sa docs ng BroadNet ang structured output para sa GLM 5.3 at Qwen3.8 27B. Hindi binabanggit ng docs ang request parameter, kaya subukan ang response_format sa model mo, at panatilihin ang JSON parser na may error handling alinman ang mangyari. Ipinapakita ng LLM JSON output validator kung saan nasisira ang sagot at sinusuri ito laban sa schema mo. Parehong nagre-reason muna ang dalawang model, kaya bigyan ng espasyo ang max_tokens para sa pag-iisip at sa JSON.

Bagay na pares ang structured output at ang mga vision model. Nagpapadala ng larawan ang gabay sa Arabic na invoice at hinihingi ang mga field bilang JSON. Para sa mga aksyon sa halip na sagot, gamitin ang tool calling.

Mga karaniwang pagkakamali

  • Pagkalimot sa additionalProperties: false, o hindi paglista ng bawat field sa required, kapag strict mode ang gamit.
  • Hindi pagsuri sa finish_reason bago mag-parse.

Mga tanong

Ano ang pagkakaiba ng JSON mode at structured output?

Ipinapangako lang ng JSON mode na mapa-parse bilang JSON ang sagot. Ipinapangako rin ng structured output na may schema ang mga field, type at required na key na itinakda mo. Ayon sa gabay ng OpenAI, Structured Outputs lang ang tumitiyak na sinusunod ang schema.

Kailangan ko pa bang i-validate ang output?

Oo. Puwede pa ring pagtanggi ang sagot o maputol ng max_tokens, at hindi kayang ipahayag ng schema ang bawat business rule, gaya ng total na dapat katumbas ng kabuuan ng mga line item.

Structured output ba o tool calling ang gagamitin ko?

Gamitin ang structured output kapag gusto mong nasa fixed na hugis ang huling sagot. Gamitin ang tool calling kapag dapat hilingin ng model sa code mo na may gawin, saka ito magpapatuloy.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity