BroadRouter
Mulai

Migrasi dari API OpenAI: panduan kode Python, Node, dan cURL

Oleh tim BroadNet Inference · 6 menit baca · Dipublikasikan

Ganti base URL, kunci API, dan ID model di klien. Untuk panggilan Chat Completions, itu sudah cukup. Kode yang memakai Responses API harus ditulis ulang ke Chat Completions: input menjadi messages, output_text menjadi choices[0].message.content, dan definisi tools bertambah satu level bersarang. Taruh embeddings di klien terpisah jika penyedia baru tidak punya, lalu jalankan smoke test sebelum memindahkan trafik.

Memindahkan aplikasi dari OpenAI ke penyedia yang kompatibel OpenAI hanya perubahan kode kecil jika Anda memakai Chat Completions, dan penulisan ulang jika Anda memakai Responses API. Artikel ini menunjukkan perubahan persisnya di Python, Node, dan cURL, apa yang harus dilakukan terhadap Responses, tools, output terstruktur, dan embeddings, serta smoke test yang dijalankan sebelum memindahkan trafik apa pun. Contohnya memakai BroadNet Inference di https://inference.broadnet.ai/v1; langkah yang sama berlaku untuk penyedia mana pun.

Ini adalah pendamping kode untuk checklist migrasi, yang membahas rate limit, error, dan perencanaan peralihan. Untuk base URL penyedia lain, lihat base URL API kompatibel OpenAI yang sudah dicek.

Apa yang berubah di setup klien?

Tiga nilai: base URL, kunci API, dan ID model.

Python

import os
from openai import OpenAI

# before: client = OpenAI()  # reads OPENAI_API_KEY, calls api.openai.com
client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
r = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",          # was e.g. "gpt-..."
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(r.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://inference.broadnet.ai/v1",
  apiKey: process.env.BROADNET_API_KEY,
});
const r = await client.chat.completions.create({
  model: "broadnet/gemma-4-26b-a4b",
  messages: [{ role: "user", content: "Reply with one short sentence." }],
});
console.log(r.choices[0].message.content);

cURL

curl https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","messages":[{"role":"user","content":"Reply with one short sentence."}]}'

Perhatikan path-nya: base URL sudah diakhiri /v1, jadi SDK menambahkan /chat/completions. Menulis /v1 dua kali adalah kesalahan pertama yang paling umum.

Bisakah beralih tanpa menyentuh kode?

Bisa, untuk kode Chat Completions. SDK Python membaca OPENAI_BASE_URL jika tidak ada base_url yang diberikan, dan klien Node memakai process.env['OPENAI_BASE_URL'] sebagai default baseURL. Keduanya membaca OPENAI_API_KEY. Mengatur dua environment variable akan memindahkan semua panggilan.

Itu juga risikonya. Semua panggilan pindah, termasuk embeddings, moderasi, unggahan file, dan apa pun yang mungkin tidak dimiliki penyedia baru. Pakai peralihan lewat environment hanya jika aplikasi Anda tidak melakukan apa pun selain panggilan chat.

Bagaimana jika kode saya memakai Responses API?

README SDK OpenAI kini menyebut Responses API sebagai API utama; README Python menyebut Chat Completions sebagai “the previous standard (supported indefinitely)” (Terjemahan BroadRouter: “standar sebelumnya (didukung tanpa batas waktu)”). Banyak penyedia kompatibel hanya mengimplementasikan Chat Completions. BroadNet mendokumentasikan POST /v1/chat/completions dan POST /v1/audio/transcriptions, jadi panggilan Responses perlu ditulis ulang. Pemetaannya:

Responses API Chat Completions
client.responses.create(...) client.chat.completions.create(...)
instructions="..." Pesan pertama {"role": "system", "content": "..."}
input="..." atau daftar item messages=[...]
response.output_text response.choices[0].message.content
max_output_tokens max_tokens (dokumentasi BroadNet) atau max_completion_tokens
text={"format": {...}} response_format={...}
previous_response_id, conversations Kirim ulang sendiri seluruh riwayat pesan
Tool {"type": "function", "name": ...} Tool {"type": "function", "function": {"name": ...}}
Item output function_call, balas dengan function_call_output dan call_id message.tool_calls, balas dengan role tool dan tool_call_id
Tool bawaan (web search, file search) Tidak tersedia; jalankan tool Anda sendiri

Sebelum dan sesudah untuk panggilan sederhana:

# Before: Responses API
r = client.responses.create(model="gpt-...", instructions="Be brief.", input="What is RAG?")
text = r.output_text

# After: Chat Completions
r = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "system", "content": "Be brief."},
              {"role": "user", "content": "What is RAG?"}],
)
text = r.choices[0].message.content

Perubahan struktural terbesar adalah state. Responses bisa menyimpan state percakapan di sisi OpenAI dengan previous_response_id. Chat Completions tidak punya state di sisi server, jadi kode Anda yang menyimpan daftar pesan dan mengirim semuanya di setiap giliran. Perhitungkan itu dalam anggaran: seluruh riwayat menjadi token input di setiap panggilan.

Bagaimana tool call berubah?

Di Chat Completions, definisi tool menempatkan fungsi di bawah key function, dan balasannya dikirim kembali sebagai pesan tool:

import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_order",
        "description": "Look up an order by ID.",
        "parameters": {"type": "object",
                       "properties": {"order_id": {"type": "string"}},
                       "required": ["order_id"]},
    },
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)
msg = r.choices[0].message
if msg.tool_calls:
    messages.append(msg)                                   # keep the assistant turn
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)         # a JSON string: parse and validate it
        messages.append({"role": "tool", "tool_call_id": call.id,
                         "content": json.dumps(lookup_order(args["order_id"]))})
    r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)

Modelnya lebih penting daripada bentuknya. Dokumentasi BroadNet hanya mencantumkan tools untuk GLM 5.3 dan Qwen3.8 27B. Jangan arahkan loop tool ke model yang dokumentasinya tidak mencantumkan tools, dan validasi argumen sebelum menjalankan apa pun. Tool calling dengan model open berisi loop lengkap dengan validasi.

Bagaimana dengan output terstruktur?

client.chat.completions.parse(..., response_format=MyPydanticModel) dan zodResponseFormat di Node sama-sama mengirim response_format dengan JSON schema. Keduanya hanya berfungsi jika penyedia menerima bentuk itu pada model tersebut. BroadNet mencantumkan output terstruktur untuk GLM 5.3 dan Qwen3.8 27B tetapi tidak menyebut nama parameter permintaannya. Jalankan uji empat langkah di JSON mode vs json_schema sekali per model, dan tetap validasi hasil parse-nya apa pun janji penyedianya.

Apa yang terjadi pada embeddings?

Jika Anda mengganti base URL di klien bersama dan penyedia tidak punya endpoint embeddings, setiap panggilan client.embeddings.create akan gagal. BroadNet tidak menjual embeddings. Pertahankan dua klien:

chat = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
embed = OpenAI(api_key=os.environ["OPENAI_API_KEY"])   # or any embeddings provider

vec = embed.embeddings.create(model="text-embedding-3-small", input=query).data[0].embedding
answer = chat.chat.completions.create(model="broadnet/glm-5.3", messages=build_prompt(query, search(vec)))

Jangan pernah mencampur vektor dari dua model embedding dalam satu indeks. Jika Anda juga mengganti penyedia embedding, buat ulang embedding untuk seluruh korpus. Kalkulator biaya embedding menghitung biayanya.

Hal yang sama berlaku untuk apa pun selain chat: pembuatan gambar, text-to-speech, moderasi, Batch API, dan penyimpanan file. BroadNet tidak menawarkan satu pun. Speech-to-text tetap bisa dipindahkan: client.audio.transcriptions.create berjalan di /v1/audio/transcriptions dengan WAV atau MP3 dan field language (panduan speech-to-text bahasa Arab).

Bagaimana kode streaming berubah?

Responses API men-stream event bertipe, seperti response.output_text.delta dan response.completed. Chat Completions men-stream chunk, dan teksnya ada di choices[0].delta.content. Usage tidak dikirim kecuali Anda memintanya, dan jika diminta, usage datang di chunk terakhir dengan daftar choices yang kosong.

// Before (Responses): for await (const e of stream) if (e.type === "response.output_text.delta") out(e.delta);
const stream = await client.chat.completions.create({
  model: "broadnet/gemma-4-26b-a4b",
  messages: [{ role: "user", content: "Count from one to three." }],
  stream: true,
  stream_options: { include_usage: true },
});
for await (const chunk of stream) {
  const text = chunk.choices[0]?.delta?.content;
  if (text) process.stdout.write(text);
  if (chunk.usage) console.log("\ntokens:", chunk.usage.total_tokens);   // last chunk
}

Dua kebiasaan menjaga kode stream tetap aman setelah peralihan. Lindungi akses choices[0], karena chunk usage tidak punya choices. Dan anggap stream yang berakhir sebelum baris data: [DONE] terakhir sebagai tidak lengkap; dokumentasi BroadNet meminta Anda mencatat X-Request-ID dan memutuskan apakah permintaan baru aman dilakukan. Streaming chat completions berisi pola lengkapnya dalam Python.

Apakah penanganan error dan retry berubah?

Class error SDK tetap sama: AuthenticationError untuk 401, RateLimitError untuk 429, APIStatusError untuk sisanya. Yang berubah adalah arti setiap status di penyedia baru. Di BroadNet, 401 bisa berarti jatah bayar sesuai pemakaian sudah habis, bukan hanya kunci yang salah, dan 402 berarti saldo tidak cukup untuk pembelian. Keduanya tidak akan beres dengan retry. 429 bisa berasal dari batas laju, konkurensi, laju token, atau pengeluaran. Coba ulang 429 dan 5xx dengan backoff, dan perbaiki sisanya. Panduan error dan retry berisi tabel lengkapnya.

SDK secara default mencoba ulang error koneksi, 408, 409, 429, dan 5xx sebanyak dua kali. Jika Anda menambahkan loop retry sendiri, atur max_retries=0 di klien agar keduanya tidak bertumpuk.

Parameter mana yang berperilaku berbeda?

Parameter Yang perlu dicek
max_tokens / max_completion_tokens OpenAI menandai max_tokens deprecated; dokumentasi BroadNet memakainya. Pada model penalaran, nilainya mencakup proses berpikir, jadi nilai kecil menghasilkan jawaban kosong (kenapa)
reasoning_effort BroadNet mendokumentasikan low; uji nilai lain sebelum mengandalkannya
stream_options: {"include_usage": true} Didokumentasikan BroadNet; usage datang di chunk terakhir
n, logprobs, seed, logit_bias Tidak ada di dokumentasi BroadNet; uji, atau hapus
store, metadata Fitur penyimpanan OpenAI; buang
Bagian konten image_url Hanya pada model yang tercantum mendukung gambar: DeepSeek V4.1 Flash, Qwen3.8 27B, Gemma 4 VL 26B

Bagaimana menguji peralihannya?

Jalankan smoke test singkat terhadap penyedia baru sebelum ada trafik yang dipindahkan. Tes ini mengecek chat biasa, usage saat streaming, anggaran penalaran, dan autentikasi. Tambahkan kasus tool call jika Anda memakai tools.

import os, openai
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)
FAST, REASONING = "broadnet/gemma-4-26b-a4b", "broadnet/qwen3.8-27b"
msg = [{"role": "user", "content": "Reply with the word ok."}]

# 1. Plain chat returns text and usage
r = client.chat.completions.create(model=FAST, messages=msg)
assert r.choices[0].message.content and r.usage.prompt_tokens > 0

# 2. Streaming reports usage in the last chunk
chunks = list(client.chat.completions.create(model=FAST, messages=msg, stream=True,
                                             stream_options={"include_usage": True}))
assert chunks[-1].usage is not None

# 3. A reasoning model needs room: a tiny budget can come back empty
r = client.chat.completions.create(model=REASONING, messages=msg, max_tokens=2000)
assert r.choices[0].finish_reason == "stop" and r.choices[0].message.content

# 4. A bad key raises AuthenticationError (401), which you should not retry
bad = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key="invalid", max_retries=0)
try:
    bad.chat.completions.create(model=FAST, messages=msg)
    raise AssertionError("expected 401")
except openai.AuthenticationError:
    pass
print("smoke test passed")

Setelah itu bandingkan kualitasnya, bukan hanya bentuknya. Putar ulang sampel prompt nyata di kedua penyedia dan beri skor pada jawabannya; mengevaluasi LLM sebelum beralih menunjukkan caranya. Alat migrasi OpenAI ke BroadNet membantu menulis ulang potongan kode dan mencantumkan fitur yang dipakainya.

Apa yang paling sering rusak?

  • Base URL global yang ikut memindahkan panggilan embeddings dan file.
  • Helper khusus Responses seperti output_text yang tertinggal di kode yang kini memanggil Chat Completions.
  • ID model. Nama gpt-... tidak ada di tempat lain. Di BroadNet, bentuknya seperti broadnet/glm-5.3.
  • Balasan kosong dari model penalaran dengan max_tokens yang kecil.
  • Rate limit. Kunci BroadNet bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan berjalan bersamaan. Job massal butuh antrean (penanganan 429).

Posisi BroadNet Inference

BroadNet Inference cocok untuk aplikasi yang memakai OpenAI untuk chat dan transkripsi: asisten, ekstraksi, peringkasan, terjemahan, dan ucapan bahasa Arab. Layanan ini juga cocok untuk aplikasi yang menginginkan paket harga tetap DeepSeek V4.1 Flash untuk agen. Ini bukan tujuan yang tepat jika Anda bergantung pada state sisi server Responses API, tool bawaan, embeddings, pembuatan gambar, text-to-speech, suara realtime, atau Batch API. Pindahkan semua itu ke penyedia yang menawarkannya, atau biarkan di OpenAI dan pindahkan hanya panggilan chat. Gemma 4 VL 26B dan kedua model transkripsi berjalan dengan kredit awal $5; GLM 5.3, Qwen3.8 27B, dan DeepSeek V4.1 Flash memerlukan top up terlebih dahulu.

Pertanyaan umum

Apakah perlu SDK lain untuk memakai API kompatibel OpenAI?

Tidak. Tetap pakai paket resmi openai dan berikan base_url (Python) atau baseURL (Node) yang berbeda, plus kunci dari penyedia baru. Objek permintaan dan respons tetap sama untuk endpoint yang didukung penyedia.

Apakah API kompatibel OpenAI mendukung Responses API?

Sebagian mendukung; banyak yang hanya mendukung Chat Completions. Cek daftar endpoint penyedia. BroadNet Inference mendokumentasikan /v1/chat/completions dan /v1/audio/transcriptions, jadi kode Responses harus ditulis ulang ke Chat Completions.

Apa yang terjadi pada embeddings saya saat beralih?

Embeddings akan rusak jika penyedia baru tidak punya endpoint embeddings dan Anda mengganti base URL secara global. BroadNet tidak menjual embeddings, jadi pertahankan klien embeddings yang mengarah ke penyedia embeddings Anda. Jangan pernah mencampur vektor dari dua model embedding dalam satu indeks.

Sebaiknya mengirim max_tokens atau max_completion_tokens?

OpenAI menandai max_tokens sebagai deprecated dan menggantinya dengan max_completion_tokens. Banyak penyedia kompatibel justru mendokumentasikan max_tokens, dan dokumentasi BroadNet memakai max_tokens. Kirim yang didokumentasikan penyedia, lalu pastikan batasnya berlaku di smoke test Anda.

Apakah helper output terstruktur OpenAI tetap berfungsi?

Hanya jika penyedia menerima response_format dengan json_schema pada model yang Anda pakai. BroadNet mencantumkan output terstruktur untuk GLM 5.3 dan Qwen3.8 27B tetapi tidak menyebut nama parameter permintaannya, jadi ujilah, dan tetap validasi hasil parse-nya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity