Memindahkan aplikasi dari OpenAI ke penyedia yang kompatibel OpenAI hanya perubahan kode kecil jika Anda memakai Chat Completions, dan penulisan ulang jika Anda memakai Responses API. Artikel ini menunjukkan perubahan persisnya di Python, Node, dan cURL, apa yang harus dilakukan terhadap Responses, tools, output terstruktur, dan embeddings, serta smoke test yang dijalankan sebelum memindahkan trafik apa pun. Contohnya memakai BroadNet Inference di https://inference.broadnet.ai/v1; langkah yang sama berlaku untuk penyedia mana pun.
Ini adalah pendamping kode untuk checklist migrasi, yang membahas rate limit, error, dan perencanaan peralihan. Untuk base URL penyedia lain, lihat base URL API kompatibel OpenAI yang sudah dicek.
Apa yang berubah di setup klien?
Tiga nilai: base URL, kunci API, dan ID model.
Python
import os
from openai import OpenAI
# before: client = OpenAI() # reads OPENAI_API_KEY, calls api.openai.com
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
r = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b", # was e.g. "gpt-..."
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(r.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://inference.broadnet.ai/v1",
apiKey: process.env.BROADNET_API_KEY,
});
const r = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: "Reply with one short sentence." }],
});
console.log(r.choices[0].message.content);
cURL
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","messages":[{"role":"user","content":"Reply with one short sentence."}]}'
Perhatikan path-nya: base URL sudah diakhiri /v1, jadi SDK menambahkan /chat/completions. Menulis /v1 dua kali adalah kesalahan pertama yang paling umum.
Bisakah beralih tanpa menyentuh kode?
Bisa, untuk kode Chat Completions. SDK Python membaca OPENAI_BASE_URL jika tidak ada base_url yang diberikan, dan klien Node memakai process.env['OPENAI_BASE_URL'] sebagai default baseURL. Keduanya membaca OPENAI_API_KEY. Mengatur dua environment variable akan memindahkan semua panggilan.
Itu juga risikonya. Semua panggilan pindah, termasuk embeddings, moderasi, unggahan file, dan apa pun yang mungkin tidak dimiliki penyedia baru. Pakai peralihan lewat environment hanya jika aplikasi Anda tidak melakukan apa pun selain panggilan chat.
Bagaimana jika kode saya memakai Responses API?
README SDK OpenAI kini menyebut Responses API sebagai API utama; README Python menyebut Chat Completions sebagai “the previous standard (supported indefinitely)” (Terjemahan BroadRouter: “standar sebelumnya (didukung tanpa batas waktu)”). Banyak penyedia kompatibel hanya mengimplementasikan Chat Completions. BroadNet mendokumentasikan POST /v1/chat/completions dan POST /v1/audio/transcriptions, jadi panggilan Responses perlu ditulis ulang. Pemetaannya:
| Responses API | Chat Completions |
|---|---|
client.responses.create(...) |
client.chat.completions.create(...) |
instructions="..." |
Pesan pertama {"role": "system", "content": "..."} |
input="..." atau daftar item |
messages=[...] |
response.output_text |
response.choices[0].message.content |
max_output_tokens |
max_tokens (dokumentasi BroadNet) atau max_completion_tokens |
text={"format": {...}} |
response_format={...} |
previous_response_id, conversations |
Kirim ulang sendiri seluruh riwayat pesan |
Tool {"type": "function", "name": ...} |
Tool {"type": "function", "function": {"name": ...}} |
Item output function_call, balas dengan function_call_output dan call_id |
message.tool_calls, balas dengan role tool dan tool_call_id |
| Tool bawaan (web search, file search) | Tidak tersedia; jalankan tool Anda sendiri |
Sebelum dan sesudah untuk panggilan sederhana:
# Before: Responses API
r = client.responses.create(model="gpt-...", instructions="Be brief.", input="What is RAG?")
text = r.output_text
# After: Chat Completions
r = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "system", "content": "Be brief."},
{"role": "user", "content": "What is RAG?"}],
)
text = r.choices[0].message.content
Perubahan struktural terbesar adalah state. Responses bisa menyimpan state percakapan di sisi OpenAI dengan previous_response_id. Chat Completions tidak punya state di sisi server, jadi kode Anda yang menyimpan daftar pesan dan mengirim semuanya di setiap giliran. Perhitungkan itu dalam anggaran: seluruh riwayat menjadi token input di setiap panggilan.
Bagaimana tool call berubah?
Di Chat Completions, definisi tool menempatkan fungsi di bawah key function, dan balasannya dikirim kembali sebagai pesan tool:
import json
tools = [{
"type": "function",
"function": {
"name": "get_order",
"description": "Look up an order by ID.",
"parameters": {"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"]},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)
msg = r.choices[0].message
if msg.tool_calls:
messages.append(msg) # keep the assistant turn
for call in msg.tool_calls:
args = json.loads(call.function.arguments) # a JSON string: parse and validate it
messages.append({"role": "tool", "tool_call_id": call.id,
"content": json.dumps(lookup_order(args["order_id"]))})
r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)
Modelnya lebih penting daripada bentuknya. Dokumentasi BroadNet hanya mencantumkan tools untuk GLM 5.3 dan Qwen3.8 27B. Jangan arahkan loop tool ke model yang dokumentasinya tidak mencantumkan tools, dan validasi argumen sebelum menjalankan apa pun. Tool calling dengan model open berisi loop lengkap dengan validasi.
Bagaimana dengan output terstruktur?
client.chat.completions.parse(..., response_format=MyPydanticModel) dan zodResponseFormat di Node sama-sama mengirim response_format dengan JSON schema. Keduanya hanya berfungsi jika penyedia menerima bentuk itu pada model tersebut. BroadNet mencantumkan output terstruktur untuk GLM 5.3 dan Qwen3.8 27B tetapi tidak menyebut nama parameter permintaannya. Jalankan uji empat langkah di JSON mode vs json_schema sekali per model, dan tetap validasi hasil parse-nya apa pun janji penyedianya.
Apa yang terjadi pada embeddings?
Jika Anda mengganti base URL di klien bersama dan penyedia tidak punya endpoint embeddings, setiap panggilan client.embeddings.create akan gagal. BroadNet tidak menjual embeddings. Pertahankan dua klien:
chat = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
embed = OpenAI(api_key=os.environ["OPENAI_API_KEY"]) # or any embeddings provider
vec = embed.embeddings.create(model="text-embedding-3-small", input=query).data[0].embedding
answer = chat.chat.completions.create(model="broadnet/glm-5.3", messages=build_prompt(query, search(vec)))
Jangan pernah mencampur vektor dari dua model embedding dalam satu indeks. Jika Anda juga mengganti penyedia embedding, buat ulang embedding untuk seluruh korpus. Kalkulator biaya embedding menghitung biayanya.
Hal yang sama berlaku untuk apa pun selain chat: pembuatan gambar, text-to-speech, moderasi, Batch API, dan penyimpanan file. BroadNet tidak menawarkan satu pun. Speech-to-text tetap bisa dipindahkan: client.audio.transcriptions.create berjalan di /v1/audio/transcriptions dengan WAV atau MP3 dan field language (panduan speech-to-text bahasa Arab).
Bagaimana kode streaming berubah?
Responses API men-stream event bertipe, seperti response.output_text.delta dan response.completed. Chat Completions men-stream chunk, dan teksnya ada di choices[0].delta.content. Usage tidak dikirim kecuali Anda memintanya, dan jika diminta, usage datang di chunk terakhir dengan daftar choices yang kosong.
// Before (Responses): for await (const e of stream) if (e.type === "response.output_text.delta") out(e.delta);
const stream = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: "Count from one to three." }],
stream: true,
stream_options: { include_usage: true },
});
for await (const chunk of stream) {
const text = chunk.choices[0]?.delta?.content;
if (text) process.stdout.write(text);
if (chunk.usage) console.log("\ntokens:", chunk.usage.total_tokens); // last chunk
}
Dua kebiasaan menjaga kode stream tetap aman setelah peralihan. Lindungi akses choices[0], karena chunk usage tidak punya choices. Dan anggap stream yang berakhir sebelum baris data: [DONE] terakhir sebagai tidak lengkap; dokumentasi BroadNet meminta Anda mencatat X-Request-ID dan memutuskan apakah permintaan baru aman dilakukan. Streaming chat completions berisi pola lengkapnya dalam Python.
Apakah penanganan error dan retry berubah?
Class error SDK tetap sama: AuthenticationError untuk 401, RateLimitError untuk 429, APIStatusError untuk sisanya. Yang berubah adalah arti setiap status di penyedia baru. Di BroadNet, 401 bisa berarti jatah bayar sesuai pemakaian sudah habis, bukan hanya kunci yang salah, dan 402 berarti saldo tidak cukup untuk pembelian. Keduanya tidak akan beres dengan retry. 429 bisa berasal dari batas laju, konkurensi, laju token, atau pengeluaran. Coba ulang 429 dan 5xx dengan backoff, dan perbaiki sisanya. Panduan error dan retry berisi tabel lengkapnya.
SDK secara default mencoba ulang error koneksi, 408, 409, 429, dan 5xx sebanyak dua kali. Jika Anda menambahkan loop retry sendiri, atur max_retries=0 di klien agar keduanya tidak bertumpuk.
Parameter mana yang berperilaku berbeda?
| Parameter | Yang perlu dicek |
|---|---|
max_tokens / max_completion_tokens |
OpenAI menandai max_tokens deprecated; dokumentasi BroadNet memakainya. Pada model penalaran, nilainya mencakup proses berpikir, jadi nilai kecil menghasilkan jawaban kosong (kenapa) |
reasoning_effort |
BroadNet mendokumentasikan low; uji nilai lain sebelum mengandalkannya |
stream_options: {"include_usage": true} |
Didokumentasikan BroadNet; usage datang di chunk terakhir |
n, logprobs, seed, logit_bias |
Tidak ada di dokumentasi BroadNet; uji, atau hapus |
store, metadata |
Fitur penyimpanan OpenAI; buang |
Bagian konten image_url |
Hanya pada model yang tercantum mendukung gambar: DeepSeek V4.1 Flash, Qwen3.8 27B, Gemma 4 VL 26B |
Bagaimana menguji peralihannya?
Jalankan smoke test singkat terhadap penyedia baru sebelum ada trafik yang dipindahkan. Tes ini mengecek chat biasa, usage saat streaming, anggaran penalaran, dan autentikasi. Tambahkan kasus tool call jika Anda memakai tools.
import os, openai
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)
FAST, REASONING = "broadnet/gemma-4-26b-a4b", "broadnet/qwen3.8-27b"
msg = [{"role": "user", "content": "Reply with the word ok."}]
# 1. Plain chat returns text and usage
r = client.chat.completions.create(model=FAST, messages=msg)
assert r.choices[0].message.content and r.usage.prompt_tokens > 0
# 2. Streaming reports usage in the last chunk
chunks = list(client.chat.completions.create(model=FAST, messages=msg, stream=True,
stream_options={"include_usage": True}))
assert chunks[-1].usage is not None
# 3. A reasoning model needs room: a tiny budget can come back empty
r = client.chat.completions.create(model=REASONING, messages=msg, max_tokens=2000)
assert r.choices[0].finish_reason == "stop" and r.choices[0].message.content
# 4. A bad key raises AuthenticationError (401), which you should not retry
bad = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key="invalid", max_retries=0)
try:
bad.chat.completions.create(model=FAST, messages=msg)
raise AssertionError("expected 401")
except openai.AuthenticationError:
pass
print("smoke test passed")
Setelah itu bandingkan kualitasnya, bukan hanya bentuknya. Putar ulang sampel prompt nyata di kedua penyedia dan beri skor pada jawabannya; mengevaluasi LLM sebelum beralih menunjukkan caranya. Alat migrasi OpenAI ke BroadNet membantu menulis ulang potongan kode dan mencantumkan fitur yang dipakainya.
Apa yang paling sering rusak?
- Base URL global yang ikut memindahkan panggilan embeddings dan file.
- Helper khusus Responses seperti
output_textyang tertinggal di kode yang kini memanggil Chat Completions. - ID model. Nama
gpt-...tidak ada di tempat lain. Di BroadNet, bentuknya sepertibroadnet/glm-5.3. - Balasan kosong dari model penalaran dengan
max_tokensyang kecil. - Rate limit. Kunci BroadNet bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan berjalan bersamaan. Job massal butuh antrean (penanganan 429).
Posisi BroadNet Inference
BroadNet Inference cocok untuk aplikasi yang memakai OpenAI untuk chat dan transkripsi: asisten, ekstraksi, peringkasan, terjemahan, dan ucapan bahasa Arab. Layanan ini juga cocok untuk aplikasi yang menginginkan paket harga tetap DeepSeek V4.1 Flash untuk agen. Ini bukan tujuan yang tepat jika Anda bergantung pada state sisi server Responses API, tool bawaan, embeddings, pembuatan gambar, text-to-speech, suara realtime, atau Batch API. Pindahkan semua itu ke penyedia yang menawarkannya, atau biarkan di OpenAI dan pindahkan hanya panggilan chat. Gemma 4 VL 26B dan kedua model transkripsi berjalan dengan kredit awal $5; GLM 5.3, Qwen3.8 27B, dan DeepSeek V4.1 Flash memerlukan top up terlebih dahulu.
