BroadRouter

Chat Completions API

Na-update

Ang Chat Completions API ay HTTP endpoint ng OpenAI, POST /v1/chat/completions, na tumatanggap ng pangalan ng model at listahan ng mga message na may role, at ibinabalik ang susunod na message ng model. Ang hugis ng request at response nito ang naging karaniwang format na ginagamit din ng mga OpenAI-compatible na provider at SDK.

Tinatawag ding: Chat Completions API sa Python, chat endpoint, Chat Completions, chat completions endpoint, /v1/chat/completions, chat.completions.create

Iisang diyalekto ang sinasalita ng karamihan ng LLM code: listahan ng message ang papasok, isang message ang lalabas. Iyon ang Chat Completions API.

Paano ito gumagana

Nagpo-POST ka ng JSON sa /v1/chat/completions na may model at messages array. May role (system, user, assistant o tool) at content ang bawat message. May choices array ang sagot; may dalang message ang bawat choice at isang finish_reason na nagsasabi kung bakit natapos ang pagbuo, kasama ang usage block na may bilang ng token.

curl https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b",
       "messages":[{"role":"system","content":"Answer in one line."},
                   {"role":"user","content":"What is a token?"}]}'

Sa OpenAI Python SDK, client.chat.completions.create(...) ang parehong call. Hinuhubog ng mga optional na field ang output: max_tokens, temperature, stream, tools, response_format at iba pa.

Stateless ang API. Sinasabi ng migration guide ng OpenAI na sa Chat Completions, “conversation state must be managed manually” (Salin ng BroadRouter: “dapat i-manage nang mano-mano ang conversation state”): ang code mo ang nagtatago ng history at nagpapadala ulit nito bawat turn. Gumagamit ang mas bagong Responses API ng OpenAI ng mga typed item at kayang magdala ng state sa server, at inirerekomenda ito ng OpenAI para sa mga bagong proyekto sa sarili nitong platform, pero sinasabi nitong ang Chat Completions ay “remains supported” (Salin ng BroadRouter: “suportado pa rin”).

Bakit ito mahalaga

  • Portability. Kadalasan, ang ibig sabihin ng OpenAI-compatible na API ay ang endpoint na ito. Madalas na bagong base URL, key at pangalan ng model lang ang kailangan para lumipat ng provider.
  • Gastos. Dahil ipinapadala ulit ang buong history, lumalaki ang input token bawat turn. Paikliin o i-summarise ang mahahabang chat.
  • Paglihis ng mga field. Hindi lahat ng compatible na provider ay tumatanggap ng bawat field ng OpenAI. Puwedeng balewalain o tanggihan ang mga hindi kilalang field, kaya subukan ang mga inaasahan mo.

Sa BroadNet Inference

Naghahatid ang BroadNet ng chat sa POST /v1/chat/completions sa https://inference.broadnet.ai/v1, para sa DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B at Gemma 4 VL 26B. Gumagamit ang streaming ng stream=true at nagtatapos sa data: [DONE]. Para sa GLM 5.3 at Qwen3.8 27B lang naka-dokumento ang tool calling at structured output. Walang idinodokumentong Responses endpoint ang API reference ng BroadNet, kaya Chat Completions ang gamitin. Magsimula sa curl quickstart o sa gabay sa Python SDK.

Mga karaniwang pagkakamali

  • Pagpapadala ng pinakahuling user message lang at pag-asang maaalala ng model ang chat.
  • Pagkopya ng mga field na pang-OpenAI lang papunta sa ibang provider nang hindi tinitingnan ang reference nito.

Mga tanong

Deprecated na ba ang Chat Completions API?

Hindi. Sinasabi ng migration guide ng OpenAI na "Chat Completions remains supported" (suportado pa rin ang Chat Completions), habang inirerekomenda nito ang mas bagong Responses API para sa mga bagong proyekto sa OpenAI.

Naaalala ba ng Chat Completions API ang mga naunang message?

Hindi. Stateless ito. Ayon sa gabay ng OpenAI, ang conversation state ay "must be managed manually" (dapat i-manage nang mano-mano), kaya ipinapadala mo ang buong history ng message sa bawat request.

Aling endpoint ang ginagamit ng BroadNet Inference para sa chat?

POST /v1/chat/completions sa base URL na https://inference.broadnet.ai/v1. Walang idinodokumentong Responses API endpoint ang BroadNet.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity