Kebanyakan kod LLM di luar sana bertutur dalam satu dialek: senarai mesej masuk, satu mesej keluar. Dialek itu ialah Chat Completions API.
Cara ia berfungsi
Anda membuat POST JSON ke /v1/chat/completions dengan model dan tatasusunan messages. Setiap mesej mempunyai role (system, user, assistant atau tool) dan content. Jawapan mengandungi tatasusunan choices; setiap choice membawa message dan finish_reason yang menyatakan sebab penjanaan tamat, serta blok usage dengan kiraan token.
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
Dalam OpenAI Python SDK, panggilan yang sama ialah client.chat.completions.create(...). Medan pilihan membentuk output: max_tokens, temperature, stream, tools, response_format dan lain-lain.
API ini tanpa keadaan. Panduan migrasi OpenAI menyatakan bahawa dalam Chat Completions, “conversation state must be managed manually” (Terjemahan BroadRouter: “keadaan perbualan mesti diurus secara manual”): kod anda menyimpan sejarah dan menghantarnya semula setiap giliran. Responses API OpenAI yang lebih baharu menggunakan item bertaip dan boleh membawa keadaan di sisi pelayan, dan OpenAI mengesyorkannya untuk projek baharu di platformnya sendiri, tetapi menyatakan Chat Completions “remains supported” (Terjemahan BroadRouter: “masih disokong”).
Mengapa ia penting
- Kebolehalihan. API yang serasi OpenAI biasanya bermaksud endpoint ini. Menukar penyedia selalunya hanya memerlukan base URL, kunci dan nama model yang baharu.
- Kos. Oleh sebab keseluruhan sejarah dihantar semula, token input bertambah setiap giliran. Pangkas atau ringkaskan perbualan yang panjang.
- Perbezaan medan. Bukan semua penyedia yang serasi menerima setiap medan OpenAI. Medan yang tidak dikenali mungkin diabaikan atau ditolak, jadi uji medan yang anda harapkan.
Di BroadNet Inference
BroadNet menyediakan chat di POST /v1/chat/completions pada https://inference.broadnet.ai/v1, untuk DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B dan Gemma 4 VL 26B. Penstriman menggunakan stream=true dan tamat dengan data: [DONE]. Tool calling dan output berstruktur didokumenkan untuk GLM 5.3 dan Qwen3.8 27B sahaja. Rujukan API BroadNet tidak mendokumenkan endpoint Responses, jadi gunakan Chat Completions. Mulakan dengan panduan pantas curl atau panduan Python SDK.
Kesilapan biasa
- Menghantar mesej pengguna terkini sahaja dan mengharapkan model mengingati perbualan.
- Menyalin medan khusus OpenAI kepada penyedia lain tanpa menyemak rujukannya.