BroadRouter

Chat Completions API

Dikemas kini

Chat Completions API ialah endpoint HTTP OpenAI, POST /v1/chat/completions, yang menerima nama model dan senarai mesej bertanda peranan, lalu memulangkan mesej seterusnya daripada model. Bentuk permintaan dan responsnya menjadi format biasa yang digunakan semula oleh penyedia dan SDK yang serasi OpenAI.

Juga dikenali sebagai: endpoint chat completions, API chat OpenAI, Chat Completions, chat completions endpoint, /v1/chat/completions, chat.completions.create

Kebanyakan kod LLM di luar sana bertutur dalam satu dialek: senarai mesej masuk, satu mesej keluar. Dialek itu ialah Chat Completions API.

Cara ia berfungsi

Anda membuat POST JSON ke /v1/chat/completions dengan model dan tatasusunan messages. Setiap mesej mempunyai role (system, user, assistant atau tool) dan content. Jawapan mengandungi tatasusunan choices; setiap choice membawa message dan finish_reason yang menyatakan sebab penjanaan tamat, serta blok usage dengan kiraan token.

curl https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b",
       "messages":[{"role":"system","content":"Answer in one line."},
                   {"role":"user","content":"What is a token?"}]}'

Dalam OpenAI Python SDK, panggilan yang sama ialah client.chat.completions.create(...). Medan pilihan membentuk output: max_tokens, temperature, stream, tools, response_format dan lain-lain.

API ini tanpa keadaan. Panduan migrasi OpenAI menyatakan bahawa dalam Chat Completions, “conversation state must be managed manually” (Terjemahan BroadRouter: “keadaan perbualan mesti diurus secara manual”): kod anda menyimpan sejarah dan menghantarnya semula setiap giliran. Responses API OpenAI yang lebih baharu menggunakan item bertaip dan boleh membawa keadaan di sisi pelayan, dan OpenAI mengesyorkannya untuk projek baharu di platformnya sendiri, tetapi menyatakan Chat Completions “remains supported” (Terjemahan BroadRouter: “masih disokong”).

Mengapa ia penting

  • Kebolehalihan. API yang serasi OpenAI biasanya bermaksud endpoint ini. Menukar penyedia selalunya hanya memerlukan base URL, kunci dan nama model yang baharu.
  • Kos. Oleh sebab keseluruhan sejarah dihantar semula, token input bertambah setiap giliran. Pangkas atau ringkaskan perbualan yang panjang.
  • Perbezaan medan. Bukan semua penyedia yang serasi menerima setiap medan OpenAI. Medan yang tidak dikenali mungkin diabaikan atau ditolak, jadi uji medan yang anda harapkan.

Di BroadNet Inference

BroadNet menyediakan chat di POST /v1/chat/completions pada https://inference.broadnet.ai/v1, untuk DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B dan Gemma 4 VL 26B. Penstriman menggunakan stream=true dan tamat dengan data: [DONE]. Tool calling dan output berstruktur didokumenkan untuk GLM 5.3 dan Qwen3.8 27B sahaja. Rujukan API BroadNet tidak mendokumenkan endpoint Responses, jadi gunakan Chat Completions. Mulakan dengan panduan pantas curl atau panduan Python SDK.

Kesilapan biasa

  • Menghantar mesej pengguna terkini sahaja dan mengharapkan model mengingati perbualan.
  • Menyalin medan khusus OpenAI kepada penyedia lain tanpa menyemak rujukannya.

Soalan lazim

Adakah Chat Completions API sudah lapuk?

Tidak. Panduan migrasi OpenAI menyatakan "Chat Completions remains supported" (Chat Completions masih disokong), sambil mengesyorkan Responses API yang lebih baharu untuk projek baharu di OpenAI.

Adakah Chat Completions API mengingati mesej terdahulu?

Tidak. Ia tanpa keadaan (stateless). Panduan OpenAI menyatakan keadaan perbualan "must be managed manually" (mesti diurus secara manual), jadi anda menghantar sejarah mesej penuh dengan setiap permintaan.

Endpoint manakah yang digunakan BroadNet Inference untuk chat?

POST /v1/chat/completions pada base URL https://inference.broadnet.ai/v1. BroadNet tidak mendokumenkan endpoint Responses API.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity