زیادہ تر LLM فراہم کنندگان اب OpenAI API فارمیٹ بولتے ہیں۔ اس سے سوئچ کرنا ایک لائن کی تبدیلی لگتا ہے، اور پہلا جواب حاصل کرنے کے لیے ہے بھی۔ پروڈکشن ٹریفک چلانے کے لیے یہ فہرست مکمل کریں۔ ہر نکتہ کسی ایسے اصل طریقے سے آیا ہے جس سے منتقلیاں ٹوٹتی ہیں۔
0. آپ کی ایپ آج کیا کیا استعمال کرتی ہے؟
کچھ بھی بدلنے سے پہلے لکھ لیں کہ آپ کی ایپ کن چیزوں پر انحصار کرتی ہے۔ کوڈ میں SDK کی ہر کال تلاش کریں اور اس کی فہرست بنائیں۔ اگر آپ OpenAI کا Whisper API کال کرتے ہیں، تو نوٹ کریں کہ OpenAI whisper-1 کو 26 فروری 2027 کو بند ہونے والا بتاتا ہے؛ آڈیو والا حصہ Whisper API کے متبادل میں ہے۔
| فیچر | کہاں دیکھیں | سوئچ کے بعد ٹیسٹ |
|---|---|---|
| چیٹ کمپلیشنز | ہر chat.completions.create |
وہی پرامپٹس، جوابات کا موازنہ |
| اسٹریمنگ | stream=True |
چنکس آتے ہیں، [DONE] پر ختم، usage موجود |
| ٹول کالنگ | tools= |
ٹول کالز پارس ہو کر چلتی ہیں |
| اسٹرکچرڈ آؤٹ پٹ | response_format= |
JSON آپ کے اسکیما پر درست ثابت ہوتا ہے |
| تصاویر | پیغامات میں تصویری حصے | ماڈل انہیں قبول کرتا ہے |
| آڈیو ٹرانسکرپشن | audio.transcriptions |
متن اور زبان درست |
| Embeddings، فائلیں، بیچز | دوسرے اینڈپوائنٹس | جانچیں کہ فراہم کنندہ انہیں دیتا بھی ہے یا نہیں |
آخری قطار اہم ہے۔ “OpenAI-compatible” عموماً سب سے پہلے چیٹ کمپلیشنز کا احاطہ کرتا ہے۔ BroadNet Inference کا کیٹلاگ چیٹ ماڈلز کو /v1/chat/completions پر اور اسپیچ ٹو ٹیکسٹ ماڈلز کو /v1/audio/transcriptions پر دکھاتا ہے؛ اگر آپ دوسرے اینڈپوائنٹس استعمال کرتے ہیں، تو انہیں اپنے موجودہ فراہم کنندہ پر رکھیں یا کوئی متبادل تلاش کریں۔
1. کون سی تین سیٹنگز بدلتی ہیں؟
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
base URL سیٹنگ کا نام لائبریری کے حساب سے مختلف ہے: Python SDK اور LangChain کے ChatOpenAI میں base_url، Node.js SDK میں baseURL۔ اس کے README کے مطابق Python SDK OPENAI_BASE_URL انوائرمنٹ ویری ایبل بھی پڑھتا ہے۔ اپنے انوائرمنٹ میں کوئی پرانی قدر تو نہیں رہ گئی، یہ جانچیں، ورنہ درخواستیں بغیر کسی ایرر کے پرانے فراہم کنندہ کو جا سکتی ہیں۔
API کلیدیں انوائرمنٹ ویری ایبلز یا سیکرٹ مینیجر میں رکھیں، کوڈ میں کبھی نہیں۔ ہر SDK کا سیٹ اپ: Python، Node.js، LangChain۔ پہلی درخواست ہاتھ سے بنا کر ٹیسٹ کرنے کے لیے API ریکویسٹ بلڈر استعمال کریں۔ موجودہ کوڈ میں base URL، کلید اور ماڈل کی تبدیلیاں لگانے کے لیے اسے OpenAI سے BroadNet منتقلی ہیلپر میں پیسٹ کریں، جو یہ بھی بتاتا ہے کہ کیا کیا جانچنا ہے۔
2. نئے ماڈل IDs کیا ہیں؟
ہر فراہم کنندہ ماڈلز کو اپنے طریقے سے نام دیتا ہے۔ BroadNet Inference پر:
| ماڈل | ID |
|---|---|
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
| GLM 5.3 | broadnet/glm-5.3 |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
| Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
ماڈل ID کو کوڈ میں نہیں، کنفیگریشن میں رکھیں، تاکہ بعد میں بدلنا ایک ڈیپلائے ہو، دوبارہ لکھنا نہیں۔ ہر ماڈل کی حدیں اور قیمتیں اس کے صفحے پر ہیں: DeepSeek V4.1 Flash، GLM 5.3، Qwen3.8 27B اور Gemma 4 VL 26B۔
3. سوئچ کرنے کے بعد جواب خالی کیوں آتے ہیں؟
یہ سب سے عام حیرانی ہے۔ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب دینے سے پہلے ریزننگ کرتے ہیں، اور ریزننگ ٹوکنز max_tokens میں گنے جاتے ہیں۔ 256 کی حد، جو کسی نان ریزننگ ماڈل پر ٹھیک چلتی تھی، پوری کی پوری سوچنے میں خرچ ہو سکتی ہے، اور جواب خالی آتا ہے۔ 1,000 یا زیادہ ٹوکن چھوڑیں، یا آسان کاموں کے لیے reasoning_effort کو low پر سیٹ کریں۔ مکمل وضاحت۔
4. کیا اسٹریمنگ اب بھی usage بتاتی ہے؟
اسٹریمز Server-Sent Events استعمال کرتی ہیں اور data: [DONE] پر ختم ہوتی ہیں۔ ٹوکن usage آخری چنک میں تبھی آتا ہے جب آپ مانگیں:
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash", messages=messages,
stream=True, stream_options={"include_usage": True},
)
اس کے بغیر آپ کا لاگت ڈیش بورڈ صفر دکھاتا ہے۔ اگر کوئی اسٹریم [DONE] سے پہلے ختم ہو جائے، تو اسے نامکمل سمجھیں۔ اسٹریمنگ گائیڈ۔
5. کن ایررز پر دوبارہ کوشش کرنی چاہیے؟
| اسٹیٹس | مطلب | کیا کریں |
|---|---|---|
| 401 | غلط یا منسوخ شدہ کلید، یا استعمال کے مطابق ادائیگی کی حد ختم | ٹھیک کریں، دوبارہ کوشش نہیں |
| 402 | بیلنس یا بجٹ | ٹاپ اپ کریں، دوبارہ کوشش نہیں |
| 403 | ماڈل، روٹ یا IP پالیسی نے انکار کیا | عدم مطابقت ٹھیک کریں |
| 413 | درخواست بہت بڑی | چھوٹی کریں، دوبارہ کوشش نہیں |
| 429 | ریٹ، بیک وقت درخواستوں یا خرچ کی حد | رک کر دوبارہ کوشش کریں |
| 5xx | سرور کی طرف | محدود backoff کے ساتھ دوبارہ کوشش |
سرکاری Python SDK کچھ ایررز پر پہلے سے دوبارہ کوشش کرتا ہے: اس کا README کہتا ہے کہ کنکشن ایررز، 408، 409، 429 اور 5xx جوابات پر پہلے سے طے شدہ طور پر دو بار مختصر exponential backoff کے ساتھ دوبارہ کوشش ہوتی ہے۔ max_retries واضح طور پر سیٹ کریں، تاکہ یہ رویہ آپ کا فیصلہ ہو، ڈیفالٹ نہیں۔ ہر جواب کا ریکویسٹ ID لاگ کریں تاکہ سپورٹ کسی مسئلے کا سراغ لگا سکے۔ تمام کوڈز۔
6. نئی ریٹ لمٹس کیا ہیں؟
ٹریفک آنے سے پہلے نئی حدیں جان لیں۔ BroadNet کی استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور 4 جاری درخواستوں کی اجازت دیتی ہے۔ لامحدود پلانز ہر سیشن میں ایک وقت میں ایک درخواست چلاتے ہیں۔ اپنے ورکر پول کا سائز اسی حساب سے رکھیں، ورنہ پہلے ہی دن 429 دکھائی دیں گے؛ ریٹ لمٹ کیلکولیٹر سائز طے کرنے میں مدد کرتا ہے۔ متوازی ایجنٹس کے لیے سائز طے کرنا۔
7. کیا آپ کے پرامپٹس اب بھی فٹ ہوں گے؟
کانٹیکسٹ ونڈوز جانچیں: DeepSeek V4.1 Flash اور GLM 5.3 پر 1,048,576 ٹوکن، Qwen3.8 27B پر 262,144، Gemma 4 VL 26B پر 32,768۔ جو پرامپٹ آپ کے پرانے ماڈل میں فٹ ہوتا تھا، وہ چھوٹی ونڈو میں شاید فٹ نہ ہو؛ کانٹیکسٹ ونڈو کیلکولیٹر سے جانچیں۔ کیش شدہ ان پٹ کی قیمت سے فائدہ اٹھانے کے لیے پرامپٹ کا مستحکم حصہ پہلے رکھیں۔
8. کلیدوں اور ڈیٹا ریٹینشن کا کیا؟
پروڈکشن کلیدوں کو IP allow-list سے اپنے سرورز کے IPs تک محدود کریں۔ نئے فراہم کنندہ سے پوچھیں کہ وہ کیا محفوظ رکھتا ہے؛ دیکھیں ZDR چیک لسٹ۔
9. محفوظ طریقے سے کیسے منتقل ہوں؟
- ایک دن کی اصل درخواستوں کی کاپی دونوں فراہم کنندگان کو بھیجیں۔
- ایک نمونے پر جوابات کا موازنہ کریں، ساتھ میں لیٹنسی، ایررز اور فی درخواست لاگت۔
- 10% ٹریفک منتقل کریں، ایک دن نظر رکھیں، پھر باقی منتقل کریں۔
- پرانے فراہم کنندہ کو ایک ہفتے تک فال بیک کے طور پر کنفیگر رکھیں۔
اگر آپ کئی سروسز چلاتے ہیں، تو LiteLLM جیسا پراکسی آپ کو ہر ایپ کے بجائے ایک ہی جگہ فراہم کنندہ بدلنے دیتا ہے۔
منتقلی کی عام غلطیاں کیا ہیں؟
- base URL میں
/v1کا نہ ہونا۔ درخواستیں 404 لوٹاتی ہیں۔ مکمل URL استعمال کریں۔ - کنفیگ میں پرانے ماڈل نام۔ نیا فراہم کنندہ انہیں نہیں پہچانتا۔
- درخواستوں میں فراہم کنندہ سے مخصوص فیلڈز رہ جانا۔ جو فیلڈز صرف پرانا فراہم کنندہ سمجھتا تھا، وہ مسترد یا نظرانداز ہو سکتی ہیں۔ عمومی کلائنٹس سے انہیں ہٹا دیں۔
- صرف ایک پرامپٹ ٹیسٹ کرنا۔ مرحلہ 0 والی فہرست فیچر بہ فیچر چلائیں۔
- جمعے کو سوئچ کرنا۔ اصل ٹریفک کا ایک پورا دن دیکھنے کا وقت چھوڑیں۔
BroadNet Inference کہاں فٹ ہوتا ہے
BroadNet Inference ان ایپس کے لیے براہِ راست متبادل ہے جو OpenAI SDKs کے ذریعے چیٹ کمپلیشنز اور آڈیو ٹرانسکرپشن استعمال کرتی ہیں: تین سیٹنگز بدلیں اور اوپر کی فہرست مکمل کریں۔ اس کے کیٹلاگ میں صرف چیٹ اور اسپیچ ٹو ٹیکسٹ ماڈلز ہیں، اس لیے اگر آپ embeddings یا فائل اسٹوریج جیسے دوسرے اینڈپوائنٹس پر انحصار کرتے ہیں، تو انہیں کسی دوسرے فراہم کنندہ کے پاس رکھیں۔ نئے اکاؤنٹس $5 کے کریڈٹ سے شروع ہوتے ہیں۔ چیٹ ماڈلز میں سے اس پر صرف Gemma 4 VL 26B چلتا ہے (یہ دونوں Transcribe ماڈلز کا بھی احاطہ کرتا ہے)، اس لیے DeepSeek، GLM یا Qwen پر شیڈو ٹیسٹ کے لیے ٹاپ اپ چاہیے۔
