Sebagian besar kode LLM di luar sana berbicara dalam satu dialek: daftar pesan masuk, satu pesan keluar. Dialek itu adalah Chat Completions API.
Cara kerjanya
Anda mengirim JSON lewat POST ke /v1/chat/completions dengan model dan array messages. Setiap pesan punya role (system, user, assistant, atau tool) dan content. Balasannya berisi array choices; setiap choice membawa message dan finish_reason yang menjelaskan kenapa generasi berakhir, plus blok usage berisi jumlah token.
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
Di SDK Python OpenAI, panggilan yang sama adalah client.chat.completions.create(...). Field opsional membentuk output-nya: max_tokens, temperature, stream, tools, response_format, dan lainnya.
API ini stateless. Panduan migrasi OpenAI menyebutkan bahwa di Chat Completions “conversation state must be managed manually” (terjemahan: state percakapan harus dikelola secara manual): kode Anda menyimpan riwayat dan mengirimnya lagi di setiap giliran. Responses API OpenAI yang lebih baru memakai item bertipe dan bisa membawa state di sisi server, dan OpenAI merekomendasikannya untuk proyek baru di platformnya sendiri, tetapi menyebutkan Chat Completions “remains supported” (terjemahan: tetap didukung).
Kenapa ini penting
- Portabilitas. API yang kompatibel dengan OpenAI biasanya berarti endpoint ini. Berganti penyedia sering kali cukup dengan base URL, kunci API, dan nama model yang baru.
- Biaya. Karena seluruh riwayat dikirim ulang, token input bertambah di setiap giliran. Pangkas atau ringkas chat yang panjang.
- Perbedaan field. Tidak semua penyedia yang kompatibel menerima setiap field OpenAI. Field yang tidak dikenal bisa diabaikan atau ditolak, jadi uji field yang Anda andalkan.
Di BroadNet Inference
BroadNet melayani chat di POST /v1/chat/completions pada https://inference.broadnet.ai/v1, untuk DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B, dan Gemma 4 VL 26B. Streaming memakai stream=true dan berakhir dengan data: [DONE]. Tool calling dan output terstruktur hanya didokumentasikan untuk GLM 5.3 dan Qwen3.8 27B. Referensi API BroadNet tidak mendokumentasikan endpoint Responses, jadi gunakan Chat Completions. Mulailah dengan quickstart curl atau panduan SDK Python.
Kesalahan umum
- Hanya mengirim pesan pengguna terakhir dan berharap model mengingat percakapannya.
- Menyalin field khusus OpenAI ke penyedia lain tanpa memeriksa referensinya.