BroadRouter

Chat Completions API

Diperbarui

Chat Completions API adalah endpoint HTTP milik OpenAI, POST /v1/chat/completions, yang menerima nama model dan daftar pesan bertanda peran lalu mengembalikan pesan berikutnya dari model. Bentuk request dan response-nya menjadi format umum yang dipakai ulang oleh penyedia dan SDK yang kompatibel dengan OpenAI.

Disebut juga: Chat Completions, endpoint chat completions, API chat completion, chat completions endpoint, /v1/chat/completions, chat.completions.create

Sebagian besar kode LLM di luar sana berbicara dalam satu dialek: daftar pesan masuk, satu pesan keluar. Dialek itu adalah Chat Completions API.

Cara kerjanya

Anda mengirim JSON lewat POST ke /v1/chat/completions dengan model dan array messages. Setiap pesan punya role (system, user, assistant, atau tool) dan content. Balasannya berisi array choices; setiap choice membawa message dan finish_reason yang menjelaskan kenapa generasi berakhir, plus blok usage berisi jumlah token.

curl https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b",
       "messages":[{"role":"system","content":"Answer in one line."},
                   {"role":"user","content":"What is a token?"}]}'

Di SDK Python OpenAI, panggilan yang sama adalah client.chat.completions.create(...). Field opsional membentuk output-nya: max_tokens, temperature, stream, tools, response_format, dan lainnya.

API ini stateless. Panduan migrasi OpenAI menyebutkan bahwa di Chat Completions “conversation state must be managed manually” (terjemahan: state percakapan harus dikelola secara manual): kode Anda menyimpan riwayat dan mengirimnya lagi di setiap giliran. Responses API OpenAI yang lebih baru memakai item bertipe dan bisa membawa state di sisi server, dan OpenAI merekomendasikannya untuk proyek baru di platformnya sendiri, tetapi menyebutkan Chat Completions “remains supported” (terjemahan: tetap didukung).

Kenapa ini penting

  • Portabilitas. API yang kompatibel dengan OpenAI biasanya berarti endpoint ini. Berganti penyedia sering kali cukup dengan base URL, kunci API, dan nama model yang baru.
  • Biaya. Karena seluruh riwayat dikirim ulang, token input bertambah di setiap giliran. Pangkas atau ringkas chat yang panjang.
  • Perbedaan field. Tidak semua penyedia yang kompatibel menerima setiap field OpenAI. Field yang tidak dikenal bisa diabaikan atau ditolak, jadi uji field yang Anda andalkan.

Di BroadNet Inference

BroadNet melayani chat di POST /v1/chat/completions pada https://inference.broadnet.ai/v1, untuk DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B, dan Gemma 4 VL 26B. Streaming memakai stream=true dan berakhir dengan data: [DONE]. Tool calling dan output terstruktur hanya didokumentasikan untuk GLM 5.3 dan Qwen3.8 27B. Referensi API BroadNet tidak mendokumentasikan endpoint Responses, jadi gunakan Chat Completions. Mulailah dengan quickstart curl atau panduan SDK Python.

Kesalahan umum

  • Hanya mengirim pesan pengguna terakhir dan berharap model mengingat percakapannya.
  • Menyalin field khusus OpenAI ke penyedia lain tanpa memeriksa referensinya.

Pertanyaan umum

Apakah Chat Completions API sudah deprecated?

Tidak. Panduan migrasi OpenAI menyebutkan "Chat Completions remains supported" (terjemahan: Chat Completions tetap didukung), sementara OpenAI merekomendasikan Responses API yang lebih baru untuk proyek baru di OpenAI.

Apakah Chat Completions API mengingat pesan sebelumnya?

Tidak. API ini stateless. Panduan OpenAI menyebutkan state percakapan "must be managed manually" (terjemahan: harus dikelola secara manual), jadi Anda mengirim seluruh riwayat pesan di setiap permintaan.

Endpoint apa yang dipakai BroadNet Inference untuk chat?

POST /v1/chat/completions di base URL https://inference.broadnet.ai/v1. BroadNet tidak mendokumentasikan endpoint Responses API.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity