BroadRouter
شروع کریں

BroadNet کا GPU ہارڈویئر اور سروِنگ کا طریقہ، BroadNet کی زبانی

BroadNet Inference ٹیم · 5 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

BroadNet کہتا ہے کہ وہ تین ہارڈویئر درجوں پر ایک ہی سروِنگ اسٹیک چلاتا ہے: A100 سے B300 تک ڈیٹا سینٹر GPUs، RTX اور DGX Spark کارڈز والا ورک اسٹیشن درجہ جو ہمیشہ چالو عوامی API چلاتا ہے، اور کلائنٹ سائٹس پر appliances۔ وہ 13 GPU فیملیز، NVIDIA اور AMD، پر تقریباً 270 ماڈلز چلانے کی بات بتاتا ہے۔ کچھ API ماڈلز اس کے بجائے امریکی inference پارٹنرز سرو کرتے ہیں۔

BroadNet اپنے inference ہارڈویئر کے بارے میں غیر معمولی تفصیل سے بتاتا ہے۔ اس کا ماڈل کیٹلاگ ان GPUs کو درج کرتا ہے جنہیں وہ اپنے بقول چلاتا ہے، فی کارڈ ناپا گیا throughput، اور ان پر ایک ہی ماڈلز چلا کر اس نے کیا سیکھا۔ یہ صفحہ BroadNet کے بیان کا خلاصہ ہے، اور جہاں اہم ہے وہاں اس کے اپنے الفاظ میں۔ ہم نے ہارڈویئر کا معائنہ نہیں کیا، اور پیمائشیں BroadNet کی اپنی ہیں، ستمبر 2026 کی۔

BroadNet کے بقول وہ کون سا ہارڈویئر چلاتا ہے؟

BroadNet کہتا ہے کہ وہ “one fleet, three tiers, one stack” (ترجمہ: ایک فلیٹ، تین درجے، ایک اسٹیک) چلاتا ہے: ڈیٹا سینٹر accelerators سے لے کر کلائنٹ سائٹس کے appliances تک وہی engines، quantisations اور gateway۔

درجہ BroadNet کے درج کردہ GPUs BroadNet اسے کس لیے استعمال کرتا ہے
ڈیٹا سینٹر B300، B200، H200، H100، A100 80 GB فلیگ شپ سروِنگ، quantisation اور calibration، fine-tuning، مخصوص پرائیویٹ اینڈپوائنٹس، data-residency والی تعیناتیاں
ورک اسٹیشن RTX PRO 6000 Blackwell، RTX 5090، RTX 3090، DGX Spark GB10، Radeon AI PRO R9700 ہمیشہ چالو عوامی API، CUDA اور ROCm پر بینچ مارکنگ، ماڈل ڈویلپمنٹ
کلائنٹ سائٹ DGX Spark GB10، کمپیکٹ AMD appliances اسی اسٹیک پر on-premise اور air-gapped ڈیپلائمنٹس

مجموعی طور پر BroadNet تقریباً 270 ماڈلز چلانے، تقریباً 200 checkpoints لوڈ کرنے، تقریباً 40 ماڈل فیملیز، 12 یا زیادہ quantisation فارمیٹس اور 13 GPU فیملیز کی بات بتاتا ہے۔ وہ یہ بھی کہتا ہے: “a single H100 serves the entire current public catalogue with headroom” (ترجمہ: ایک اکیلا H100 پورا موجودہ عوامی کیٹلاگ، گنجائش کے ساتھ، سرو کرتا ہے)۔

کون سے API ماڈلز اس پر چلتے ہیں؟

سب نہیں۔ BroadNet کا پرائیویسی بیان کہتا ہے کہ اس کے اپنے ماڈلز اور اس کے ہوسٹ کیے گئے open-weight ماڈلز امریکہ میں BroadNet کے اپنے یا لیز پر لیے گئے ہارڈویئر پر چلتے ہیں، بیک اپ کے لیے پارٹنر گنجائش کے ساتھ، اور پارٹنرز سے سرو ہونے والے ماڈلز امریکی inference پارٹنرز کے پاس zero-data-retention شرائط پر چلتے ہیں۔ اس کی Terms of Service DeepSeek V4.1 Flash کو پارٹنر ہوسٹڈ بتاتی ہیں۔

BroadNet کے اپنے صفحات ہر ماڈل کے بارے میں کیا کہتے ہیں:

API پر ماڈل BroadNet کا بتایا ہارڈویئر
Gemma 4 VL 26B hot backup کے ساتھ NVIDIA Blackwell درجے کے GPUs
Transcribe Arabic اور Transcribe امریکہ میں BroadNet کے چلائے گئے NVIDIA GPUs
DeepSeek V4.1 Flash پارٹنر ہوسٹڈ (Terms of Service §7.3)
GLM 5.3، Qwen3.8 27B API ٹریفک کے لیے بیان نہیں کیا گیا

اگر یہ اہم ہے کہ آپ کا ڈیٹا کہاں پروسیس ہوتا ہے تو بھیجنے سے پہلے BroadNet سے پوچھیں۔ اس کا inference صفحہ کہتا ہے کہ MENA یا یورپ میں علاقائی پروسیسنگ درخواست پر دستیاب ہے۔

ہر GPU کتنا تیز ہے؟

BroadNet ایک ماڈل، Qwen3-VL 30B A3B Instruct، کے لیے 32 بیک وقت درخواستوں پر فی GPU مجموعی آؤٹ پٹ throughput شائع کرتا ہے:

GPU درجہ Memory bandwidth مجموعی ٹوکنز/سیکنڈ
B300 ڈیٹا سینٹر 8,000 GB/s 14,500
B200 ڈیٹا سینٹر 8,000 GB/s 14,000
H200 ڈیٹا سینٹر 4,800 GB/s 8,400
H100 ڈیٹا سینٹر 3,350 GB/s 5,800
A100 80 GB ڈیٹا سینٹر 2,039 GB/s 3,500
RTX PRO 6000 Blackwell ورک اسٹیشن 1,792 GB/s 3,100
RTX 3090 ورک اسٹیشن 936 GB/s 1,630
DGX Spark GB10 ورک اسٹیشن 273 GB/s 1,597
Radeon AI PRO R9700 ورک اسٹیشن 640 GB/s 1,087

BroadNet بتاتا ہے کہ ڈیٹا سینٹر کے اعداد “planning numbers from our measured per-GPU curve” (ترجمہ: ہمارے ناپے گئے فی GPU منحنی سے نکالے گئے منصوبہ بندی کے نمبر) ہیں، ہر کارڈ پر براہِ راست پیمائش نہیں۔ زیادہ تر قطاریں memory bandwidth کے ساتھ بڑھتی ہیں، جو decoding کی عام حد ہوتی ہے، مگر سب نہیں: DGX Spark GB10 (273 GB/s) تقریباً RTX 3090 (936 GB/s) کے برابر ہے، اور Radeon AI PRO R9700 (640 GB/s) دونوں سے پیچھے ہے۔

BroadNet کے مطابق اس کے ہارڈویئر نے اسے کیا سکھایا؟

کیٹلاگ آٹھ نتائج درج کرتا ہے، ہر ایک پر “measured on our own hardware” (ترجمہ: ہمارے اپنے ہارڈویئر پر ناپا گیا) لکھا ہے۔ API خریداروں کے لیے سب سے اہم یہ ہیں:

  • CUDA بمقابلہ ROCm۔ ایک ہی ماڈلز NVIDIA CUDA اور AMD ROCm پر چلانے پر CUDA نے تقریباً دگنی memory bandwidth کو ٹوکنز میں بدلا، اس لیے BroadNet اسی حساب سے ورک لوڈز تقسیم کرتا ہے۔
  • لوڈ میں speculative decoding۔ 32 بیک وقت درخواستوں پر EAGLE3 نے 69% throughput کم کر دیا، اس لیے BroadNet نے multi-token-prediction drafters رکھے۔ اس کی Uno سروِنگ اسٹڈی ایک اور طریقے کے لیے یہی اثر ناپتی ہے۔
  • سروِنگ اتنی ہی اہم ہے جتنے weights۔ ایک ہوسٹڈ فراہم کنندہ سے سرو کیے گئے وہی Gemma 4 26B weights اوسطاً اس سے 0.13 کم اسکور لائے جسے BroadNet “our own serving” (ترجمہ: ہماری اپنی سروِنگ) کہتا ہے۔ BroadNet کا اصول: موازنے سے پہلے challenger اور اس کے baseline کو ایک ہی سروِنگ پر رکھیں۔
  • کم active پیرامیٹرز والا ماڈل جیت سکتا ہے۔ 26B mixture of experts نے تقریباً آٹھویں حصے کے active پیرامیٹرز کے ساتھ dense Gemma 4 31B کو 6 میں سے 5 پائپ لائن قدموں پر ہرایا۔
  • ایک پائپ لائن پر frontier کے برابر۔ 240 ٹریسز کی blind جانچ میں BroadNet کے سرو کیے گئے Gemma 4 نے ناپے گئے چھ میں سے پانچ قدموں پر Claude Sonnet کی برابری کی، ہر قدم پر 1.2 سے 6.5 گنا تیز جوابات کے ساتھ۔
  • فی درخواست رفتار۔ BroadNet کی پیمائش کے مطابق Qwen3-VL 30B A3B اس سروِنگ پر جسے BroadNet اپنی بتاتا ہے فی درخواست 36.5 سے 110 ٹوکن فی سیکنڈ پر چلا، جبکہ BroadNet کے ناپے گئے چار OpenRouter فراہم کنندگان پر 7 سے 19۔
  • آرکیٹیکچر ماڈل کے انتخاب سے بڑا ہے۔ ایک مشکل سیٹ پر، جہاں دو مقامی وژن ماڈلز متفق نہیں تھے، ایک ہوسٹڈ ثالث (adjudicator) تک معاملہ بڑھانے سے درستگی 12 میں سے 1 سے 12 میں سے 11 ہو گئی۔

Sonnet والا موازنہ سب سے بڑا دعویٰ ہے، اور یہ محدود ہے: BroadNet کے Gemma 4 صفحے کے مطابق، ایک کمپنی کی chatbot پائپ لائن، جسے تین ججوں نے blind پرکھا، 11 tenants کی 240 پروڈکشن گفتگوؤں پر۔ اس کا مطلب یہ نہیں کہ Gemma 4 عمومی طور پر Sonnet کے برابر ہے۔ BroadNet نے اپنے ریسرچ صفحے پر اس جانچ کی مکمل تفصیل شائع نہیں کی۔

Gemma 4 ماڈل کیسے سرو ہوتا ہے؟

BroadNet کے ماڈل صفحے کے مطابق اس کا Gemma 4 VL 26B اس کے سروِنگ فیصلوں کی سب سے واضح مثال ہے:

  • Weights: Google کا Gemma 4 26B A4B، جسے BroadNet نے 4-bit AWQ میں quantise کیا۔ BroadNet نے NVFP4 ٹیسٹ کیا اور براہِ راست موازنے کے بعد اسے ہٹا دیا۔
  • Decoding: دو drafted ٹوکنز (k=2) والا multi-token-prediction speculative decoding، اور fp8 KV cache۔
  • Template: ایک chat template جسے BroadNet نے اپنے گفتگو والے ورک فلو کے لیے ٹیون کیا۔
  • Resilience: خودکار failover والا hot backup۔
  • نتیجہ: ایک stream پر تقریباً 136 ٹوکن فی سیکنڈ، اور BroadNet کی اندرونی quality battery پر 90.86۔

اصطلاحات کے لیے quantisation اور speculative decoding دیکھیں۔

آپ کے لیے اس کا کیا مطلب ہے؟

استعمال کے مطابق ادائیگی والے صارف کے لیے BroadNet کے سروِنگ فیصلے شائع شدہ رفتار میں نظر آتے ہیں، پلان ماڈل پر عموماً تقریباً 100 ٹوکن فی سیکنڈ، اور حدوں میں: فی کلید 30 درخواستیں فی منٹ اور بیک وقت 4 جاری درخواستیں۔ BroadNet کی شرائط کہتی ہیں کہ self-serve پر دستیابی کی کوئی ضمانت نہیں؛ سروس لیولز صرف تحریری معاہدے کے ساتھ آتے ہیں۔ دوسرے فراہم کنندگان کے SLAs کا موازنہ۔

بڑی ضرورتوں کے لیے BroadNet مخصوص کیے گئے GPUs پر پرائیویٹ اینڈپوائنٹس دیتا ہے، آپ کے ماڈل، کلید، حدوں اور region کے ساتھ، اور اسی اسٹیک پر on-premise appliances بھی۔ اگر آپ اس کا موازنہ اپنے GPUs کرائے پر لینے سے کر رہے ہیں تو ہماری self-hosting بمقابلہ API لاگت گائیڈ پورا حساب کرتی ہے، اور BroadNet نے کون سے ماڈلز مسترد کیے دکھاتی ہے کہ اس نے کیا سرو کرنا ہے، یہ کیسے چنا۔

عام سوالات

کیا BroadNet اپنے GPUs خود چلاتا ہے؟

BroadNet کہتا ہے کہ وہ اپنا NVIDIA اور AMD GPU فلیٹ چلاتا ہے۔ اس کا پرائیویسی بیان کہتا ہے کہ اس کے اپنے ماڈلز اور اس کے ہوسٹ کیے گئے open-weight ماڈلز امریکہ میں BroadNet کے اپنے یا لیز پر لیے گئے ہارڈویئر پر چلتے ہیں، بیک اپ کے لیے پارٹنر گنجائش کے ساتھ۔ پارٹنرز سے سرو ہونے والے ماڈلز، جیسے DeepSeek V4.1 Flash، امریکی inference پارٹنرز کے پاس چلتے ہیں۔

عوامی API کون سا GPU سرو کرتا ہے؟

BroadNet کا کیٹلاگ "the always-on public API" (ترجمہ: ہمیشہ چالو عوامی API) کو اپنے ورک اسٹیشن درجے پر رکھتا ہے (RTX PRO 6000 Blackwell، RTX 5090، RTX 3090، DGX Spark GB10، Radeon AI PRO R9700)۔ اس کا Gemma 4 صفحہ hot backup کے ساتھ NVIDIA Blackwell درجے کے GPUs بتاتا ہے۔

کیا کوئی شائع شدہ uptime SLA ہے؟

self-serve کے لیے نہیں۔ BroadNet کی Terms of Service کہتی ہیں کہ self-serve پر دستیابی کی کوئی ضمانت نہیں، اور سروس لیولز صرف ایک الگ تحریری معاہدے میں ہوتے ہیں، جیسے پرائیویٹ اینڈپوائنٹ کے لیے۔

کیا مجھے ایک مخصوص (dedicated) GPU مل سکتا ہے؟

جی ہاں۔ BroadNet مخصوص کیے گئے GPU یا node پر پرائیویٹ اینڈپوائنٹس دیتا ہے، آپ کی پسند کے ماڈل، آپ کی اپنی کلید اور حدوں، اور آپ کو درکار region کے ساتھ۔ ان کی قیمت درخواست پر آپ کی ٹریفک کے حساب سے طے ہوتی ہے۔

کیا BroadNet میرے احاطے میں ماڈلز چلا سکتا ہے؟

BroadNet کہتا ہے کہ اس کا کلائنٹ سائٹ درجہ on-premise اور air-gapped ڈیپلائمنٹس کے لیے DGX Spark GB10 اور کمپیکٹ AMD appliances پر وہی اسٹیک چلاتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں