ایک ماڈل سے بات کرنے والی ایپ کو راؤٹر کی ضرورت نہیں۔ راؤٹرز تب آتے ہیں جب کوئی ٹیم کئی ماڈلز یا فراہم کنندگان استعمال کرتی ہے اور ان کے درمیان انتخاب کے لیے ایک جگہ چاہتی ہے۔
یہ کیسے کام کرتا ہے
ایپ راؤٹر کو OpenAI طرز کی درخواست بھیجتی ہے۔ راؤٹر اپنے اصول لگاتا ہے، درخواست کسی بیک اینڈ کو آگے بھیجتا ہے، اور جواب اسی فارمیٹ میں لوٹاتا ہے۔ تین عام اقسام ہیں:
- ہوسٹڈ ایگریگیٹرز. مثال کے طور پر OpenRouter
https://openrouter.ai/api/v1پر “hundreds of AI models through a single API endpoint” (ترجمہ: ایک ہی API endpoint سے سینکڑوں AI ماڈلز) فراہم کرتا ہے، خودکار fallbacks کے ساتھ۔ آپ کے پاس ایک کلید اور ایک بل ہوتا ہے؛ فراہم کنندگان کے ساتھ اکاؤنٹس ایگریگیٹر رکھتا ہے۔ - سیلف ہوسٹڈ گیٹ ویز. LiteLLM Router آپ کے اپنے انفراسٹرکچر میں چلتا ہے۔ یہ deployments میں ٹریفک بانٹتا ہے (ڈیفالٹ طور پر simple shuffle، یا latency، استعمال یا لاگت کی بنیاد پر)، rate-limit ایررز پر exponential backoff کے ساتھ دوبارہ کوشش کرتا ہے، اور 429 یا ناکامی کی بلند شرح کے بعد کسی deployment کو cooldown میں ڈال دیتا ہے۔
- ماڈل چننے والے راؤٹرز. RouteLLM جیسی تحقیق ایک classifier کو تربیت دیتی ہے جو آسان پرامپٹس سستے ماڈل کو اور مشکل پرامپٹس مضبوط ماڈل کو بھیجتا ہے، تاکہ معیار کھوئے بغیر لاگت کم ہو۔
سیلف ہوسٹڈ گیٹ وے بیک اینڈز کی فہرست کے طور پر کنفیگر ہوتا ہے۔ یہ LiteLLM اندراج ایک OpenAI-compatible فراہم کنندہ شامل کرتا ہے:
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
یہ کیوں اہم ہے
- قابلِ اعتمادی. جب کوئی فراہم کنندہ 429 یا 5xx ایررز لوٹائے تو راؤٹر failover کر سکتا ہے۔ دیکھیں ریٹ لمٹس۔
- لاگت. سادہ پرامپٹس سستے ماڈل کو بھیجنے سے بل کم ہو سکتا ہے۔
- ایک انٹیگریشن. کوڈ ایک base URL اور ایک کلید فارمیٹ سے بات کرتا ہے۔
سودے حقیقی ہیں۔ راؤٹر ایک نیٹ ورک hop شامل کرتا ہے۔ ہوسٹڈ راؤٹر ایک اور فریق ہے جو آپ کے پرامپٹس دیکھتا ہے، اس لیے ڈیٹا رکھنے کی پالیسی راؤٹر اور اس کے چنے ہوئے فراہم کنندہ دونوں پر منحصر ہے۔ ماڈلز tokenizers، reasoning کے برتاؤ اور پیرامیٹر سپورٹ میں بھی مختلف ہوتے ہیں، اس لیے خاموشی سے ہونے والا fallback جواب بدل سکتا ہے۔
BroadNet Inference پر
BroadNet Inference راؤٹر نہیں ہے۔ یہ ایک واحد فراہم کنندہ ہے جس کی https://inference.broadnet.ai/v1 پر ماڈلز کی ایک مختصر فہرست ہے؛ BroadNet کی شرائط کہتی ہیں کہ اس کے ماڈلز BroadNet کے اپنے یا لیز پر لیے گئے امریکی ہارڈویئر پر، یا امریکی انفرنس پارٹنرز کے ساتھ چلتے ہیں۔ فراہم کنندگان کے درمیان کوئی خودکار راؤٹنگ یا fallback نہیں ہے۔ ہر درخواست میں ماڈل آپ چنتے ہیں، مثلاً broadnet/deepseek-v4.1-flash یا broadnet/glm-5.3۔
چونکہ API، OpenAI-compatible ہے، یہ کسی راؤٹر کے پیچھے ایک بیک اینڈ کے طور پر بیٹھ سکتا ہے۔ LiteLLM proxy گائیڈ سیٹ اپ دکھاتی ہے۔ راؤٹر اور فلیٹ ریٹ فراہم کنندہ کے موازنے کے لیے agents کے لیے OpenRouter کا متبادل پڑھیں۔ BroadNet پرامپٹس یا آؤٹ پٹس محفوظ نہیں رکھتا؛ اگر آپ آگے کوئی ہوسٹڈ راؤٹر لگاتے ہیں تو اس کی ڈیٹا ریٹینشن پالیسی بھی جانچیں۔
عام غلطیاں
- 401 یا 403 پر کسی دوسرے فراہم کنندہ کے ساتھ دوبارہ کوشش کرنا۔ یہ کلید یا پالیسی کے ایررز ہیں؛ پہلے انہیں ٹھیک کریں۔ دیکھیں ایررز اور دوبارہ کوشش۔
- ماڈل ناموں کو ایک دوسرے کا بدل سمجھنا۔ ہر fallback ماڈل کو اپنے پرامپٹس پر ٹیسٹ کریں۔