BroadRouter
शुरू करें

OpenAI-कम्पैटिबल API पर माइग्रेट करना: पूरी चेकलिस्ट

BroadNet Inference टीम · 5 मिनट में पढ़ें · प्रकाशित · अपडेट किया गया

OpenAI-कम्पैटिबल API पर जाने के लिए तीन सेटिंग बदलें (base_url, api_key और model), फिर जाँचें कि क्या अलग है: मॉडल ID, रीज़निंग टोकन max_tokens में कैसे गिने जाते हैं, स्ट्रीमिंग usage कैसे बताती है, किन एरर पर रीट्राई करें, रेट लिमिट और key की सुरक्षा। BroadNet Inference का base URL https://inference.broadnet.ai/v1 है।

ज़्यादातर LLM प्रोवाइडर अब OpenAI API फ़ॉर्मैट बोलते हैं। इससे स्विच करना एक लाइन का बदलाव लगता है, और पहला जवाब पाने के लिए है भी। प्रोडक्शन ट्रैफ़िक चलाने के लिए यह सूची पूरी करें। हर बिंदु किसी ऐसे असली तरीक़े से आया है जिससे माइग्रेशन टूटते हैं।

0. आपका ऐप आज क्या-क्या इस्तेमाल करता है?

कुछ भी बदलने से पहले लिख लें कि आपका ऐप किन चीज़ों पर निर्भर है। कोड में SDK की हर कॉल खोजें और उसकी सूची बनाएँ। अगर आप OpenAI का Whisper API कॉल करते हैं, तो ध्यान दें कि OpenAI whisper-1 को 26 फ़रवरी 2027 को बंद होने वाला बताता है; ऑडियो वाला हिस्सा Whisper API के विकल्प में है।

फ़ीचर कहाँ देखें स्विच के बाद टेस्ट
चैट कम्प्लीशन हर chat.completions.create वही प्रॉम्प्ट, जवाबों की तुलना
स्ट्रीमिंग stream=True चंक आते हैं, [DONE] पर ख़त्म, usage मौजूद
टूल कॉलिंग tools= टूल कॉल पार्स होकर चलते हैं
स्ट्रक्चर्ड आउटपुट response_format= JSON आपके स्कीमा पर वैलिडेट होता है
इमेज मैसेज में इमेज वाले हिस्से मॉडल उन्हें स्वीकार करता है
ऑडियो ट्रांसक्रिप्शन audio.transcriptions टेक्स्ट और भाषा सही
Embeddings, फ़ाइलें, बैच दूसरे एंडपॉइंट जाँचें कि प्रोवाइडर उन्हें देता भी है या नहीं

आख़िरी पंक्ति अहम है। “OpenAI-कम्पैटिबल” आम तौर पर सबसे पहले चैट कम्प्लीशन को कवर करता है। BroadNet Inference का कैटलॉग चैट मॉडल को /v1/chat/completions पर और स्पीच-टू-टेक्स्ट मॉडल को /v1/audio/transcriptions पर दिखाता है; अगर आप दूसरे एंडपॉइंट इस्तेमाल करते हैं, तो उन्हें अपने मौजूदा प्रोवाइडर पर रखें या कोई विकल्प ढूँढें।

1. कौन-सी तीन सेटिंग बदलती हैं?

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

base URL सेटिंग का नाम लाइब्रेरी के हिसाब से अलग है: Python SDK और LangChain के ChatOpenAI में base_url, Node.js SDK में baseURL। उसके README के अनुसार Python SDK OPENAI_BASE_URL एनवायरनमेंट वेरिएबल भी पढ़ता है। अपने एनवायरनमेंट में कोई पुरानी वैल्यू तो नहीं बची, यह जाँचें, वरना अनुरोध बिना किसी एरर के पुराने प्रोवाइडर पर जा सकते हैं।

API key एनवायरनमेंट वेरिएबल या सीक्रेट मैनेजर में रखें, कोड में कभी नहीं। हर SDK का सेटअप: Python, Node.js, LangChain। पहला अनुरोध हाथ से बनाकर टेस्ट करने के लिए API रिक्वेस्ट बिल्डर इस्तेमाल करें। मौजूदा कोड में base URL, key और मॉडल के बदलाव लगाने के लिए उसे OpenAI से BroadNet माइग्रेशन हेल्पर में पेस्ट करें, जो यह भी बताता है कि क्या-क्या जाँचना है।

2. नए मॉडल ID क्या हैं?

हर प्रोवाइडर मॉडल को अपने तरीक़े से नाम देता है। BroadNet Inference पर:

मॉडल ID
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash
GLM 5.3 broadnet/glm-5.3
Qwen3.8 27B broadnet/qwen3.8-27b
Gemma 4 VL 26B broadnet/gemma-4-26b-a4b

मॉडल ID को कोड में नहीं, कॉन्फ़िगरेशन में रखें, ताकि बाद में बदलना एक डिप्लॉय हो, दोबारा लिखना नहीं। हर मॉडल की सीमाएँ और कीमतें उसके पेज पर हैं: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B और Gemma 4 VL 26B।

3. स्विच करने के बाद जवाब ख़ाली क्यों आते हैं?

यह सबसे आम हैरानी है। DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब देने से पहले रीज़निंग करते हैं, और रीज़निंग टोकन max_tokens में गिने जाते हैं। 256 की सीमा, जो किसी नॉन-रीज़निंग मॉडल पर ठीक चलती थी, पूरी की पूरी सोचने में ख़र्च हो सकती है, और जवाब ख़ाली आता है। 1,000 या ज़्यादा टोकन छोड़ें, या आसान कामों के लिए reasoning_effort को low पर सेट करें। पूरी व्याख्या।

4. क्या स्ट्रीमिंग अब भी usage बताती है?

स्ट्रीम Server-Sent Events इस्तेमाल करती हैं और data: [DONE] पर ख़त्म होती हैं। टोकन usage आख़िरी चंक में तभी आता है जब आप माँगें:

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash", messages=messages,
    stream=True, stream_options={"include_usage": True},
)

इसके बिना आपका लागत डैशबोर्ड शून्य दिखाता है। अगर कोई स्ट्रीम [DONE] से पहले ख़त्म हो जाए, तो उसे अधूरा मानें। स्ट्रीमिंग गाइड।

5. किन एरर पर रीट्राई करना चाहिए?

स्टेटस मतलब क्या करें
401 ग़लत या रद्द की गई key, या उपयोग के अनुसार भुगतान की सीमा ख़त्म ठीक करें, रीट्राई नहीं
402 बैलेंस या बजट टॉप-अप करें, रीट्राई नहीं
403 मॉडल, रूट या IP पॉलिसी ने मना किया बेमेल चीज़ ठीक करें
413 अनुरोध बहुत बड़ा छोटा करें, रीट्राई नहीं
429 रेट, कॉन्करेंसी या ख़र्च की सीमा रुककर रीट्राई करें
5xx सर्वर की तरफ़ सीमित backoff के साथ रीट्राई

आधिकारिक Python SDK कुछ एरर पर पहले से रीट्राई करता है: उसका README कहता है कि कनेक्शन एरर, 408, 409, 429 और 5xx रिस्पॉन्स डिफ़ॉल्ट रूप से दो बार छोटे exponential backoff के साथ रीट्राई होते हैं। max_retries साफ़-साफ़ सेट करें, ताकि यह व्यवहार आपका फ़ैसला हो, डिफ़ॉल्ट नहीं। हर रिस्पॉन्स का रिक्वेस्ट ID लॉग करें ताकि सपोर्ट किसी समस्या को ट्रेस कर सके। सारे कोड।

6. नई रेट लिमिट क्या हैं?

ट्रैफ़िक आने से पहले नई सीमाएँ जान लें। BroadNet की उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और 4 चालू अनुरोध की अनुमति देती है। अनलिमिटेड प्लान हर सेशन में एक समय में एक अनुरोध चलाते हैं। अपने वर्कर पूल का आकार उसी हिसाब से रखें, वरना पहले ही दिन 429 दिखेंगे; रेट लिमिट कैलकुलेटर आकार तय करने में मदद करता है। समानांतर एजेंट के लिए आकार तय करना।

7. क्या आपके प्रॉम्प्ट अब भी फ़िट होंगे?

कॉन्टेक्स्ट विंडो जाँचें: DeepSeek V4.1 Flash और GLM 5.3 पर 1,048,576 टोकन, Qwen3.8 27B पर 262,144, Gemma 4 VL 26B पर 32,768। जो प्रॉम्प्ट आपके पुराने मॉडल में फ़िट होता था, वह छोटी विंडो में शायद फ़िट न हो; कॉन्टेक्स्ट विंडो कैलकुलेटर से जाँचें। कैश्ड इनपुट की कीमत का फ़ायदा लेने के लिए प्रॉम्प्ट का स्थिर हिस्सा पहले रखें।

8. key और डेटा रिटेंशन का क्या?

प्रोडक्शन key को IP allow-list से अपने सर्वरों के IP तक सीमित करें। नए प्रोवाइडर से पूछें कि वह क्या रखता है; देखें ZDR चेकलिस्ट।

9. सुरक्षित तरीक़े से कैसे स्विच करें?

  1. एक दिन के असली अनुरोधों की कॉपी दोनों प्रोवाइडरों को भेजें।
  2. एक सैंपल पर जवाबों की तुलना करें, साथ में लेटेंसी, एरर और प्रति अनुरोध लागत।
  3. 10% ट्रैफ़िक ले जाएँ, एक दिन नज़र रखें, फिर बाक़ी ले जाएँ।
  4. पुराने प्रोवाइडर को एक हफ़्ते तक फ़ॉलबैक के रूप में कॉन्फ़िगर रखें।

अगर आप कई सर्विस चलाते हैं, तो LiteLLM जैसा प्रॉक्सी आपको हर ऐप के बजाय एक ही जगह प्रोवाइडर बदलने देता है।

माइग्रेशन की आम ग़लतियाँ क्या हैं?

  • base URL में /v1 का न होना। अनुरोध 404 लौटाते हैं। पूरा URL इस्तेमाल करें।
  • कॉन्फ़िग में पुराने मॉडल नाम। नया प्रोवाइडर उन्हें नहीं पहचानता।
  • अनुरोधों में प्रोवाइडर-विशेष फ़ील्ड छूट जाना। जो फ़ील्ड सिर्फ़ पुराना प्रोवाइडर समझता था, वे अस्वीकार या अनदेखे हो सकते हैं। सामान्य क्लाइंट से उन्हें हटा दें।
  • सिर्फ़ एक प्रॉम्प्ट टेस्ट करना। चरण 0 वाली सूची फ़ीचर-दर-फ़ीचर चलाएँ।
  • शुक्रवार को स्विच करना। असली ट्रैफ़िक का एक पूरा दिन देखने का समय छोड़ें।

BroadNet Inference कहाँ फ़िट होता है

BroadNet Inference उन ऐप के लिए सीधा विकल्प है जो OpenAI SDK के ज़रिए चैट कम्प्लीशन और ऑडियो ट्रांसक्रिप्शन इस्तेमाल करते हैं: तीन सेटिंग बदलें और ऊपर की सूची पूरी करें। इसके कैटलॉग में सिर्फ़ चैट और स्पीच-टू-टेक्स्ट मॉडल हैं, इसलिए अगर आप embeddings या फ़ाइल स्टोरेज जैसे दूसरे एंडपॉइंट पर निर्भर हैं, तो उन्हें किसी दूसरे प्रोवाइडर के पास रखें। नए अकाउंट $5 के क्रेडिट से शुरू होते हैं। चैट मॉडल में से सिर्फ़ Gemma 4 VL 26B इस पर चलता है (यह दोनों Transcribe मॉडल को भी कवर करता है), इसलिए DeepSeek, GLM या Qwen पर शैडो टेस्ट के लिए टॉप-अप चाहिए।

अक्सर पूछे जाने वाले सवाल

क्या मुझे कोई अलग SDK चाहिए?

नहीं। Python और Node.js के आधिकारिक OpenAI SDK कस्टम base URL लेते हैं। उन पर बने फ़्रेमवर्क, जैसे LangChain का ChatOpenAI, भी इसे लेते हैं।

OpenAI SDK में base URL कैसे बदलूँ?

Python में क्लाइंट को base_url दें या Node.js में baseURL, या OPENAI_BASE_URL एनवायरनमेंट वेरिएबल सेट करें। BroadNet Inference के लिए वैल्यू https://inference.broadnet.ai/v1 है, और key api_key में जाती है।

स्विच करने के बाद जवाब ख़ाली क्यों आता है?

DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जैसे रीज़निंग मॉडल जवाब देने से पहले सोचते हैं, और यह सोचना max_tokens में गिना जाता है। max_tokens को 1,000 या ज़्यादा करें, या reasoning_effort को low पर सेट करें।

स्विच करने के बाद 404 या model not found एरर क्यों आता है?

आम तौर पर मॉडल ID अब भी पुराने प्रोवाइडर का नाम होता है, या base URL में /v1 पाथ छूट गया होता है। नए प्रोवाइडर का ठीक-ठीक मॉडल ID और पूरा base URL इस्तेमाल करें।

किन एरर पर रीट्राई करना चाहिए?

429 और 5xx पर सीमित exponential backoff के साथ रीट्राई करें। 401, 402 और 413 को रीट्राई से पहले ठीक करें। इस साइट की एरर गाइड में हर कोड दिया है।

क्या OpenAI-कम्पैटिबल का मतलब हूबहू एक जैसा है?

नहीं। अनुरोध और रिस्पॉन्स का ढाँचा मेल खाता है, लेकिन मॉडल ID, समर्थित पैरामीटर, सीमाएँ, usage फ़ील्ड और एरर के विवरण अलग हो सकते हैं। आपका ऐप जो भी फ़ीचर इस्तेमाल करता है, हर एक को टेस्ट करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें