BroadRouter
Mulakan

Beralih ke API serasi OpenAI: senarai semak migrasi

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan · Dikemas kini

Untuk beralih ke API serasi OpenAI, tukar tiga tetapan (base_url, api_key dan model), kemudian semak apa yang berbeza: ID model, cara token penaakulan dikira dalam max_tokens, cara strim melaporkan penggunaan, ralat mana yang perlu dicuba semula, had kadar dan keselamatan kunci. Untuk BroadNet Inference, base URL ialah https://inference.broadnet.ai/v1.

Kebanyakan penyedia LLM kini menggunakan format API OpenAI. Ini membuatkan peralihan kelihatan seperti perubahan satu baris, dan untuk mendapatkan jawapan pertama, memang begitu. Untuk menjalankan trafik pengeluaran, ikuti senarai ini. Setiap item datang daripada cara sebenar migrasi gagal.

0. Apakah yang digunakan oleh aplikasi anda hari ini?

Sebelum anda menukar apa-apa, catat apa yang menjadi kebergantungan aplikasi anda. Cari dalam kod setiap panggilan kepada SDK dan senaraikannya. Jika anda memanggil API Whisper OpenAI, ambil perhatian bahawa OpenAI menyenaraikan whisper-1 sebagai akan ditutup pada 26 Februari 2027; alternatif API Whisper merangkumi bahagian audio.

Ciri Tempat untuk dicari Uji selepas beralih
Chat completions Setiap chat.completions.create Prompt yang sama, bandingkan jawapan
Penstriman stream=True Cebisan tiba, berakhir dengan [DONE], data penggunaan ada
Panggilan alat tools= Panggilan alat dihurai dan dijalankan
Output berstruktur response_format= JSON lulus pengesahan skema anda
Imej Bahagian imej dalam messages Model menerimanya
Transkripsi audio audio.transcriptions Teks dan bahasa betul
Embeddings, fail, batch Endpoint lain Semak sama ada penyedia menawarkannya langsung

Baris terakhir itu penting. “Serasi OpenAI” biasanya meliputi chat completions dahulu. Katalog BroadNet Inference menyenaraikan model chat pada /v1/chat/completions dan model speech-to-text pada /v1/audio/transcriptions; jika anda menggunakan endpoint lain, kekalkannya pada penyedia semasa anda atau cari pengganti.

1. Tiga tetapan manakah yang berubah?

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

Nama tetapan base URL berbeza mengikut pustaka: base_url dalam SDK Python dan ChatOpenAI LangChain, baseURL dalam SDK Node.js. SDK Python juga membaca pembolehubah persekitaran OPENAI_BASE_URL, menurut READMEnya. Semak sama ada terdapat nilai lama dalam persekitaran anda, jika tidak permintaan boleh pergi ke penyedia lama tanpa sebarang ralat.

Simpan kunci API dalam pembolehubah persekitaran atau pengurus rahsia, jangan sekali-kali dalam kod. Persediaan untuk setiap SDK: Python, Node.js, LangChain. Untuk membina dan menguji permintaan pertama secara manual, gunakan pembina permintaan API. Untuk menggunakan perubahan base URL, kunci dan model pada kod sedia ada, tampalkannya ke dalam pembantu migrasi OpenAI ke BroadNet, yang juga menyenaraikan perkara yang perlu disemak.

2. Apakah ID model yang baharu?

Setiap penyedia menamakan model dengan caranya sendiri. Di BroadNet Inference:

Model ID
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash
GLM 5.3 broadnet/glm-5.3
Qwen3.8 27B broadnet/qwen3.8-27b
Gemma 4 VL 26B broadnet/gemma-4-26b-a4b

Letakkan ID model dalam konfigurasi, bukan dalam kod, supaya peralihan kemudian hanya memerlukan deploy, bukan tulis semula. Had dan harga setiap model ada pada halamannya: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B dan Gemma 4 VL 26B.

3. Mengapakah jawapan kosong selepas beralih?

Inilah kejutan yang paling biasa. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan token penaakulan dikira dalam max_tokens. Had 256 yang berfungsi pada model bukan penaakulan boleh dihabiskan sepenuhnya untuk berfikir, jadi jawapannya kosong. Sediakan 1,000 token atau lebih, atau tetapkan reasoning_effort kepada low untuk tugas ringkas. Penjelasan penuh.

4. Adakah strim masih melaporkan penggunaan?

Strim menggunakan Server-Sent Events dan berakhir dengan data: [DONE]. Penggunaan token hanya tiba dalam cebisan terakhir jika anda memintanya:

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash", messages=messages,
    stream=True, stream_options={"include_usage": True},
)

Tanpanya, papan pemuka kos anda membaca sifar. Jika strim berakhir sebelum [DONE], anggap ia tidak lengkap. Panduan penstriman.

5. Ralat manakah yang patut anda cuba semula?

Status Maksud Tindakan
401 Kunci salah atau telah dibatalkan, atau elaun bayar ikut guna telah habis Betulkan, jangan cuba semula
402 Baki atau bajet Tambah nilai, jangan cuba semula
403 Ditolak oleh dasar model, laluan atau IP Betulkan ketidakpadanan
413 Permintaan terlalu besar Kecilkan, jangan cuba semula
429 Had kadar, keserentakan atau perbelanjaan Tunggu dan cuba semula
5xx Masalah di pihak pelayan Cuba semula dengan backoff yang terhad

SDK Python rasmi sudah mencuba semula sesetengah ralat: READMEnya menyatakan ralat sambungan, 408, 409, 429 dan respons 5xx dicuba semula dua kali secara lalai dengan backoff eksponen yang singkat. Tetapkan max_retries secara jelas supaya tingkah laku itu satu keputusan, bukan nilai lalai. Log ID permintaan daripada setiap respons supaya pasukan sokongan boleh menjejak masalah. Semua kod.

6. Apakah had kadar yang baharu?

Ketahui had baharu sebelum trafik tiba. Kunci bayar ikut guna BroadNet membenarkan 30 permintaan seminit dan 4 serentak. Pelan tanpa had menjalankan satu permintaan pada satu masa bagi setiap sesi. Saizkan kumpulan pekerja anda sewajarnya, jika tidak anda akan melihat 429 pada hari pertama; kalkulator had kadar membuat pengiraan saiz. Saiz untuk ejen selari.

7. Adakah prompt anda masih muat?

Semak tetingkap konteks: 1,048,576 token pada DeepSeek V4.1 Flash dan GLM 5.3, 262,144 pada Qwen3.8 27B, 32,768 pada Gemma 4 VL 26B. Prompt yang muat dalam model lama anda mungkin tidak muat dalam tetingkap yang lebih kecil; semak dengan kalkulator tetingkap konteks. Letakkan kandungan prompt yang stabil di hadapan untuk mendapat manfaat harga input cache.

8. Bagaimana pula dengan kunci dan pengekalan data?

Hadkan kunci pengeluaran kepada IP pelayan anda dengan senarai IP dibenarkan. Tanya penyedia baharu apa yang disimpannya; lihat senarai semak ZDR.

9. Bagaimanakah anda beralih dengan selamat?

  1. Hantar salinan permintaan sebenar selama sehari kepada kedua-dua penyedia.
  2. Bandingkan jawapan pada satu sampel, serta kependaman, ralat dan kos setiap permintaan.
  3. Alihkan 10% trafik, perhatikan selama sehari, kemudian alihkan selebihnya.
  4. Kekalkan penyedia lama sebagai sandaran selama seminggu.

Jika anda menjalankan banyak perkhidmatan, proksi seperti LiteLLM membolehkan anda menukar penyedia di satu tempat dan bukannya dalam setiap aplikasi.

Apakah kesilapan migrasi yang biasa?

  • Tiada /v1 dalam base URL. Permintaan mengembalikan 404. Gunakan URL penuh.
  • Nama model lama dalam konfigurasi. Penyedia baharu tidak mengenalinya.
  • Medan khusus penyedia tertinggal dalam permintaan. Medan yang hanya difahami oleh penyedia lama mungkin ditolak atau diabaikan. Buangnya daripada klien generik.
  • Menguji satu prompt sahaja. Jalankan inventori daripada langkah 0, ciri demi ciri.
  • Beralih pada hari Jumaat. Beri masa untuk memerhati sehari penuh trafik sebenar.

Kedudukan BroadNet Inference

BroadNet Inference ialah sasaran drop-in untuk aplikasi yang menggunakan chat completions dan transkripsi audio melalui SDK OpenAI: tukar tiga tetapan dan ikuti senarai di atas. Katalognya hanya menyenaraikan model chat dan speech-to-text, jadi jika anda bergantung pada endpoint lain, seperti embeddings atau storan fail, kekalkannya pada penyedia lain. Akaun baharu bermula dengan kredit $5. Daripada model chat, hanya Gemma 4 VL 26B boleh digunakan dengannya (ia juga meliputi dua model Transcribe), jadi ujian bayangan pada DeepSeek, GLM atau Qwen memerlukan tambah nilai.

Soalan lazim

Adakah saya memerlukan SDK yang berbeza?

Tidak. SDK rasmi OpenAI untuk Python dan Node.js menerima base URL tersuai. Rangka kerja yang dibina di atasnya, seperti ChatOpenAI LangChain, juga menerimanya.

Bagaimanakah saya menukar base URL dalam SDK OpenAI?

Hantar base_url kepada klien dalam Python atau baseURL dalam Node.js, atau tetapkan pembolehubah persekitaran OPENAI_BASE_URL. Untuk BroadNet Inference nilainya ialah https://inference.broadnet.ai/v1, dan kunci dimasukkan dalam api_key.

Mengapakah saya mendapat respons kosong selepas beralih?

Model penaakulan seperti DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B berfikir dahulu sebelum menjawab, dan proses berfikir itu dikira dalam max_tokens. Naikkan max_tokens kepada 1,000 atau lebih, atau tetapkan reasoning_effort kepada low.

Mengapakah saya mendapat ralat 404 atau model not found selepas beralih?

Biasanya ID model masih nama penyedia lama, atau base URL tertinggal laluan /v1. Gunakan ID model yang tepat daripada penyedia baharu dan base URL yang penuh.

Ralat manakah yang patut saya cuba semula?

Cuba semula 429 dan 5xx dengan backoff eksponen yang terhad. Betulkan 401, 402 dan 413 sebelum mencuba semula. Panduan ralat di laman web ini menyenaraikan setiap kod.

Adakah serasi OpenAI bermaksud sama sepenuhnya?

Tidak. Bentuk permintaan dan respons sepadan, tetapi ID model, parameter yang disokong, had, medan penggunaan dan butiran ralat boleh berbeza. Uji setiap ciri yang digunakan oleh aplikasi anda.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity