Iisang diyalekto ang sinasalita ng karamihan ng LLM code: listahan ng message ang papasok, isang message ang lalabas. Iyon ang Chat Completions API.
Paano ito gumagana
Nagpo-POST ka ng JSON sa /v1/chat/completions na may model at messages array. May role (system, user, assistant o tool) at content ang bawat message. May choices array ang sagot; may dalang message ang bawat choice at isang finish_reason na nagsasabi kung bakit natapos ang pagbuo, kasama ang usage block na may bilang ng token.
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
Sa OpenAI Python SDK, client.chat.completions.create(...) ang parehong call. Hinuhubog ng mga optional na field ang output: max_tokens, temperature, stream, tools, response_format at iba pa.
Stateless ang API. Sinasabi ng migration guide ng OpenAI na sa Chat Completions, “conversation state must be managed manually” (Salin ng BroadRouter: “dapat i-manage nang mano-mano ang conversation state”): ang code mo ang nagtatago ng history at nagpapadala ulit nito bawat turn. Gumagamit ang mas bagong Responses API ng OpenAI ng mga typed item at kayang magdala ng state sa server, at inirerekomenda ito ng OpenAI para sa mga bagong proyekto sa sarili nitong platform, pero sinasabi nitong ang Chat Completions ay “remains supported” (Salin ng BroadRouter: “suportado pa rin”).
Bakit ito mahalaga
- Portability. Kadalasan, ang ibig sabihin ng OpenAI-compatible na API ay ang endpoint na ito. Madalas na bagong base URL, key at pangalan ng model lang ang kailangan para lumipat ng provider.
- Gastos. Dahil ipinapadala ulit ang buong history, lumalaki ang input token bawat turn. Paikliin o i-summarise ang mahahabang chat.
- Paglihis ng mga field. Hindi lahat ng compatible na provider ay tumatanggap ng bawat field ng OpenAI. Puwedeng balewalain o tanggihan ang mga hindi kilalang field, kaya subukan ang mga inaasahan mo.
Sa BroadNet Inference
Naghahatid ang BroadNet ng chat sa POST /v1/chat/completions sa https://inference.broadnet.ai/v1, para sa DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B at Gemma 4 VL 26B. Gumagamit ang streaming ng stream=true at nagtatapos sa data: [DONE]. Para sa GLM 5.3 at Qwen3.8 27B lang naka-dokumento ang tool calling at structured output. Walang idinodokumentong Responses endpoint ang API reference ng BroadNet, kaya Chat Completions ang gamitin. Magsimula sa curl quickstart o sa gabay sa Python SDK.
Mga karaniwang pagkakamali
- Pagpapadala ng pinakahuling user message lang at pag-asang maaalala ng model ang chat.
- Pagkopya ng mga field na pang-OpenAI lang papunta sa ibang provider nang hindi tinitingnan ang reference nito.