BroadRouter
شروع کریں

OpenAI-compatible API پر منتقلی: مکمل چیک لسٹ

BroadNet Inference ٹیم · 5 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

OpenAI-compatible API پر جانے کے لیے تین سیٹنگز بدلیں (base_url، api_key اور model)، پھر جانچیں کہ کیا مختلف ہے: ماڈل IDs، ریزننگ ٹوکنز max_tokens میں کیسے گنے جاتے ہیں، اسٹریمنگ usage کیسے بتاتی ہے، کن ایررز پر دوبارہ کوشش کریں، ریٹ لمٹس اور کلید کی حفاظت۔ BroadNet Inference کا base URL https://inference.broadnet.ai/v1 ہے۔

زیادہ تر LLM فراہم کنندگان اب OpenAI API فارمیٹ بولتے ہیں۔ اس سے سوئچ کرنا ایک لائن کی تبدیلی لگتا ہے، اور پہلا جواب حاصل کرنے کے لیے ہے بھی۔ پروڈکشن ٹریفک چلانے کے لیے یہ فہرست مکمل کریں۔ ہر نکتہ کسی ایسے اصل طریقے سے آیا ہے جس سے منتقلیاں ٹوٹتی ہیں۔

0. آپ کی ایپ آج کیا کیا استعمال کرتی ہے؟

کچھ بھی بدلنے سے پہلے لکھ لیں کہ آپ کی ایپ کن چیزوں پر انحصار کرتی ہے۔ کوڈ میں SDK کی ہر کال تلاش کریں اور اس کی فہرست بنائیں۔ اگر آپ OpenAI کا Whisper API کال کرتے ہیں، تو نوٹ کریں کہ OpenAI whisper-1 کو 26 فروری 2027 کو بند ہونے والا بتاتا ہے؛ آڈیو والا حصہ Whisper API کے متبادل میں ہے۔

فیچر کہاں دیکھیں سوئچ کے بعد ٹیسٹ
چیٹ کمپلیشنز ہر chat.completions.create وہی پرامپٹس، جوابات کا موازنہ
اسٹریمنگ stream=True چنکس آتے ہیں، [DONE] پر ختم، usage موجود
ٹول کالنگ tools= ٹول کالز پارس ہو کر چلتی ہیں
اسٹرکچرڈ آؤٹ پٹ response_format= JSON آپ کے اسکیما پر درست ثابت ہوتا ہے
تصاویر پیغامات میں تصویری حصے ماڈل انہیں قبول کرتا ہے
آڈیو ٹرانسکرپشن audio.transcriptions متن اور زبان درست
Embeddings، فائلیں، بیچز دوسرے اینڈپوائنٹس جانچیں کہ فراہم کنندہ انہیں دیتا بھی ہے یا نہیں

آخری قطار اہم ہے۔ “OpenAI-compatible” عموماً سب سے پہلے چیٹ کمپلیشنز کا احاطہ کرتا ہے۔ BroadNet Inference کا کیٹلاگ چیٹ ماڈلز کو /v1/chat/completions پر اور اسپیچ ٹو ٹیکسٹ ماڈلز کو /v1/audio/transcriptions پر دکھاتا ہے؛ اگر آپ دوسرے اینڈپوائنٹس استعمال کرتے ہیں، تو انہیں اپنے موجودہ فراہم کنندہ پر رکھیں یا کوئی متبادل تلاش کریں۔

1. کون سی تین سیٹنگز بدلتی ہیں؟

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

base URL سیٹنگ کا نام لائبریری کے حساب سے مختلف ہے: Python SDK اور LangChain کے ChatOpenAI میں base_url، Node.js SDK میں baseURL۔ اس کے README کے مطابق Python SDK OPENAI_BASE_URL انوائرمنٹ ویری ایبل بھی پڑھتا ہے۔ اپنے انوائرمنٹ میں کوئی پرانی قدر تو نہیں رہ گئی، یہ جانچیں، ورنہ درخواستیں بغیر کسی ایرر کے پرانے فراہم کنندہ کو جا سکتی ہیں۔

API کلیدیں انوائرمنٹ ویری ایبلز یا سیکرٹ مینیجر میں رکھیں، کوڈ میں کبھی نہیں۔ ہر SDK کا سیٹ اپ: Python، Node.js، LangChain۔ پہلی درخواست ہاتھ سے بنا کر ٹیسٹ کرنے کے لیے API ریکویسٹ بلڈر استعمال کریں۔ موجودہ کوڈ میں base URL، کلید اور ماڈل کی تبدیلیاں لگانے کے لیے اسے OpenAI سے BroadNet منتقلی ہیلپر میں پیسٹ کریں، جو یہ بھی بتاتا ہے کہ کیا کیا جانچنا ہے۔

2. نئے ماڈل IDs کیا ہیں؟

ہر فراہم کنندہ ماڈلز کو اپنے طریقے سے نام دیتا ہے۔ BroadNet Inference پر:

ماڈل ID
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash
GLM 5.3 broadnet/glm-5.3
Qwen3.8 27B broadnet/qwen3.8-27b
Gemma 4 VL 26B broadnet/gemma-4-26b-a4b

ماڈل ID کو کوڈ میں نہیں، کنفیگریشن میں رکھیں، تاکہ بعد میں بدلنا ایک ڈیپلائے ہو، دوبارہ لکھنا نہیں۔ ہر ماڈل کی حدیں اور قیمتیں اس کے صفحے پر ہیں: DeepSeek V4.1 Flash، GLM 5.3، Qwen3.8 27B اور Gemma 4 VL 26B۔

3. سوئچ کرنے کے بعد جواب خالی کیوں آتے ہیں؟

یہ سب سے عام حیرانی ہے۔ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب دینے سے پہلے ریزننگ کرتے ہیں، اور ریزننگ ٹوکنز max_tokens میں گنے جاتے ہیں۔ 256 کی حد، جو کسی نان ریزننگ ماڈل پر ٹھیک چلتی تھی، پوری کی پوری سوچنے میں خرچ ہو سکتی ہے، اور جواب خالی آتا ہے۔ 1,000 یا زیادہ ٹوکن چھوڑیں، یا آسان کاموں کے لیے reasoning_effort کو low پر سیٹ کریں۔ مکمل وضاحت۔

4. کیا اسٹریمنگ اب بھی usage بتاتی ہے؟

اسٹریمز Server-Sent Events استعمال کرتی ہیں اور data: [DONE] پر ختم ہوتی ہیں۔ ٹوکن usage آخری چنک میں تبھی آتا ہے جب آپ مانگیں:

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash", messages=messages,
    stream=True, stream_options={"include_usage": True},
)

اس کے بغیر آپ کا لاگت ڈیش بورڈ صفر دکھاتا ہے۔ اگر کوئی اسٹریم [DONE] سے پہلے ختم ہو جائے، تو اسے نامکمل سمجھیں۔ اسٹریمنگ گائیڈ۔

5. کن ایررز پر دوبارہ کوشش کرنی چاہیے؟

اسٹیٹس مطلب کیا کریں
401 غلط یا منسوخ شدہ کلید، یا استعمال کے مطابق ادائیگی کی حد ختم ٹھیک کریں، دوبارہ کوشش نہیں
402 بیلنس یا بجٹ ٹاپ اپ کریں، دوبارہ کوشش نہیں
403 ماڈل، روٹ یا IP پالیسی نے انکار کیا عدم مطابقت ٹھیک کریں
413 درخواست بہت بڑی چھوٹی کریں، دوبارہ کوشش نہیں
429 ریٹ، بیک وقت درخواستوں یا خرچ کی حد رک کر دوبارہ کوشش کریں
5xx سرور کی طرف محدود backoff کے ساتھ دوبارہ کوشش

سرکاری Python SDK کچھ ایررز پر پہلے سے دوبارہ کوشش کرتا ہے: اس کا README کہتا ہے کہ کنکشن ایررز، 408، 409، 429 اور 5xx جوابات پر پہلے سے طے شدہ طور پر دو بار مختصر exponential backoff کے ساتھ دوبارہ کوشش ہوتی ہے۔ max_retries واضح طور پر سیٹ کریں، تاکہ یہ رویہ آپ کا فیصلہ ہو، ڈیفالٹ نہیں۔ ہر جواب کا ریکویسٹ ID لاگ کریں تاکہ سپورٹ کسی مسئلے کا سراغ لگا سکے۔ تمام کوڈز۔

6. نئی ریٹ لمٹس کیا ہیں؟

ٹریفک آنے سے پہلے نئی حدیں جان لیں۔ BroadNet کی استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور 4 جاری درخواستوں کی اجازت دیتی ہے۔ لامحدود پلانز ہر سیشن میں ایک وقت میں ایک درخواست چلاتے ہیں۔ اپنے ورکر پول کا سائز اسی حساب سے رکھیں، ورنہ پہلے ہی دن 429 دکھائی دیں گے؛ ریٹ لمٹ کیلکولیٹر سائز طے کرنے میں مدد کرتا ہے۔ متوازی ایجنٹس کے لیے سائز طے کرنا۔

7. کیا آپ کے پرامپٹس اب بھی فٹ ہوں گے؟

کانٹیکسٹ ونڈوز جانچیں: DeepSeek V4.1 Flash اور GLM 5.3 پر 1,048,576 ٹوکن، Qwen3.8 27B پر 262,144، Gemma 4 VL 26B پر 32,768۔ جو پرامپٹ آپ کے پرانے ماڈل میں فٹ ہوتا تھا، وہ چھوٹی ونڈو میں شاید فٹ نہ ہو؛ کانٹیکسٹ ونڈو کیلکولیٹر سے جانچیں۔ کیش شدہ ان پٹ کی قیمت سے فائدہ اٹھانے کے لیے پرامپٹ کا مستحکم حصہ پہلے رکھیں۔

8. کلیدوں اور ڈیٹا ریٹینشن کا کیا؟

پروڈکشن کلیدوں کو IP allow-list سے اپنے سرورز کے IPs تک محدود کریں۔ نئے فراہم کنندہ سے پوچھیں کہ وہ کیا محفوظ رکھتا ہے؛ دیکھیں ZDR چیک لسٹ۔

9. محفوظ طریقے سے کیسے منتقل ہوں؟

  1. ایک دن کی اصل درخواستوں کی کاپی دونوں فراہم کنندگان کو بھیجیں۔
  2. ایک نمونے پر جوابات کا موازنہ کریں، ساتھ میں لیٹنسی، ایررز اور فی درخواست لاگت۔
  3. 10% ٹریفک منتقل کریں، ایک دن نظر رکھیں، پھر باقی منتقل کریں۔
  4. پرانے فراہم کنندہ کو ایک ہفتے تک فال بیک کے طور پر کنفیگر رکھیں۔

اگر آپ کئی سروسز چلاتے ہیں، تو LiteLLM جیسا پراکسی آپ کو ہر ایپ کے بجائے ایک ہی جگہ فراہم کنندہ بدلنے دیتا ہے۔

منتقلی کی عام غلطیاں کیا ہیں؟

  • base URL میں /v1 کا نہ ہونا۔ درخواستیں 404 لوٹاتی ہیں۔ مکمل URL استعمال کریں۔
  • کنفیگ میں پرانے ماڈل نام۔ نیا فراہم کنندہ انہیں نہیں پہچانتا۔
  • درخواستوں میں فراہم کنندہ سے مخصوص فیلڈز رہ جانا۔ جو فیلڈز صرف پرانا فراہم کنندہ سمجھتا تھا، وہ مسترد یا نظرانداز ہو سکتی ہیں۔ عمومی کلائنٹس سے انہیں ہٹا دیں۔
  • صرف ایک پرامپٹ ٹیسٹ کرنا۔ مرحلہ 0 والی فہرست فیچر بہ فیچر چلائیں۔
  • جمعے کو سوئچ کرنا۔ اصل ٹریفک کا ایک پورا دن دیکھنے کا وقت چھوڑیں۔

BroadNet Inference کہاں فٹ ہوتا ہے

BroadNet Inference ان ایپس کے لیے براہِ راست متبادل ہے جو OpenAI SDKs کے ذریعے چیٹ کمپلیشنز اور آڈیو ٹرانسکرپشن استعمال کرتی ہیں: تین سیٹنگز بدلیں اور اوپر کی فہرست مکمل کریں۔ اس کے کیٹلاگ میں صرف چیٹ اور اسپیچ ٹو ٹیکسٹ ماڈلز ہیں، اس لیے اگر آپ embeddings یا فائل اسٹوریج جیسے دوسرے اینڈپوائنٹس پر انحصار کرتے ہیں، تو انہیں کسی دوسرے فراہم کنندہ کے پاس رکھیں۔ نئے اکاؤنٹس $5 کے کریڈٹ سے شروع ہوتے ہیں۔ چیٹ ماڈلز میں سے اس پر صرف Gemma 4 VL 26B چلتا ہے (یہ دونوں Transcribe ماڈلز کا بھی احاطہ کرتا ہے)، اس لیے DeepSeek، GLM یا Qwen پر شیڈو ٹیسٹ کے لیے ٹاپ اپ چاہیے۔

عام سوالات

کیا مجھے کوئی الگ SDK چاہیے؟

نہیں۔ Python اور Node.js کے سرکاری OpenAI SDKs کسٹم base URL قبول کرتے ہیں۔ ان پر بنے فریم ورکس، جیسے LangChain کا ChatOpenAI، بھی اسے قبول کرتے ہیں۔

OpenAI SDK میں base URL کیسے بدلوں؟

Python میں کلائنٹ کو base_url دیں یا Node.js میں baseURL، یا OPENAI_BASE_URL انوائرمنٹ ویری ایبل سیٹ کریں۔ BroadNet Inference کے لیے قدر https://inference.broadnet.ai/v1 ہے، اور کلید api_key میں جاتی ہے۔

سوئچ کرنے کے بعد خالی جواب کیوں آتا ہے؟

DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جیسے ریزننگ ماڈلز جواب دینے سے پہلے سوچتے ہیں، اور یہ سوچنا max_tokens میں گنا جاتا ہے۔ max_tokens کو 1,000 یا زیادہ کریں، یا reasoning_effort کو low پر سیٹ کریں۔

سوئچ کرنے کے بعد 404 یا model not found ایرر کیوں آتا ہے؟

عموماً ماڈل ID اب بھی پرانے فراہم کنندہ کا نام ہوتا ہے، یا base URL میں /v1 پاتھ رہ گیا ہوتا ہے۔ نئے فراہم کنندہ کا بالکل درست ماڈل ID اور مکمل base URL استعمال کریں۔

کن ایررز پر دوبارہ کوشش کرنی چاہیے؟

429 اور 5xx پر محدود exponential backoff کے ساتھ دوبارہ کوشش کریں۔ 401، 402 اور 413 کو دوبارہ کوشش سے پہلے ٹھیک کریں۔ اس سائٹ کی ایررز گائیڈ میں ہر کوڈ درج ہے۔

کیا OpenAI-compatible کا مطلب ہوبہو ایک جیسا ہے؟

نہیں۔ درخواست اور جواب کی ساخت ملتی ہے، لیکن ماڈل IDs، معاون پیرامیٹرز، حدیں، usage فیلڈز اور ایرر کی تفصیلات مختلف ہو سکتی ہیں۔ آپ کی ایپ جو بھی فیچر استعمال کرتی ہے، ہر ایک کو ٹیسٹ کریں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں