BroadRouter

BroadNet का GPU हार्डवेयर और सर्विंग का तरीक़ा, BroadNet के शब्दों में

BroadNet Inference टीम · 5 मिनट में पढ़ें · प्रकाशित · अपडेट किया गया

BroadNet कहता है कि वह तीन हार्डवेयर स्तरों पर एक ही सर्विंग स्टैक चलाता है: A100 से B300 तक डेटा-सेंटर GPU, RTX और DGX Spark कार्ड वाला वर्कस्टेशन स्तर जो हमेशा चालू पब्लिक API चलाता है, और क्लाइंट की साइट पर appliance। वह 13 GPU फ़ैमिली, NVIDIA और AMD, पर लगभग 270 मॉडल चलाने की बात बताता है। कुछ API मॉडल इसकी जगह अमेरिकी inference पार्टनर सर्व करते हैं।

BroadNet अपने inference हार्डवेयर के बारे में असामान्य रूप से विस्तार से बताता है। उसका मॉडल कैटलॉग उन GPU को लिस्ट करता है जिन्हें वह चलाने की बात कहता है, प्रति कार्ड नापा गया throughput, और उन पर एक ही मॉडल चलाकर उसने क्या सीखा। यह पेज BroadNet के कहे का सारांश है, और जहाँ मायने रखता है वहाँ उसके अपने शब्दों में। हमने हार्डवेयर की जाँच नहीं की है, और नाप BroadNet के अपने हैं, सितंबर 2026 के।

BroadNet कौन-सा हार्डवेयर चलाने की बात कहता है?

BroadNet कहता है कि वह “one fleet, three tiers, one stack” (अनुवाद: एक फ़्लीट, तीन स्तर, एक स्टैक) चलाता है: डेटा-सेंटर accelerator से लेकर क्लाइंट साइट के appliance तक वही engine, quantisation और gateway।

स्तर BroadNet के लिस्ट किए GPU BroadNet इसका इस्तेमाल किसलिए करता है
डेटा सेंटर B300, B200, H200, H100, A100 80 GB flagship सर्विंग, quantisation और calibration, fine-tuning, dedicated प्राइवेट एंडपॉइंट, data-residency वाली प्लेसमेंट
वर्कस्टेशन RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 हमेशा चालू पब्लिक API, CUDA और ROCm पर बेंचमार्किंग, मॉडल डेवलपमेंट
क्लाइंट साइट DGX Spark GB10, कॉम्पैक्ट AMD appliance उसी स्टैक पर on-premise और air-gapped डिप्लॉयमेंट

कुल मिलाकर BroadNet लगभग 270 मॉडल चलाने, लगभग 200 checkpoint लोड करने, लगभग 40 मॉडल फ़ैमिली, 12 या ज़्यादा quantisation फ़ॉर्मैट और 13 GPU फ़ैमिली की बात बताता है। वह यह भी कहता है: “a single H100 serves the entire current public catalogue with headroom” (अनुवाद: एक अकेला H100 पूरा मौजूदा पब्लिक कैटलॉग, गुंजाइश के साथ, सर्व करता है)।

कौन-से API मॉडल इस पर चलते हैं?

सभी नहीं। BroadNet का प्राइवेसी स्टेटमेंट कहता है कि उसके अपने मॉडल और उसके होस्ट किए open-weight मॉडल अमेरिका में BroadNet के अपने या लीज़ पर लिए हार्डवेयर पर चलते हैं, बैकअप के लिए पार्टनर क्षमता के साथ, और पार्टनर से सर्व होने वाले मॉडल अमेरिकी inference पार्टनर के पास zero-data-retention शर्तों पर चलते हैं। उसकी Terms of Service DeepSeek V4.1 Flash को पार्टनर-होस्टेड बताती हैं।

BroadNet के अपने पेज हर मॉडल के बारे में क्या कहते हैं:

API पर मॉडल BroadNet का बताया हार्डवेयर
Gemma 4 VL 26B hot backup के साथ NVIDIA Blackwell-श्रेणी के GPU
Transcribe Arabic और Transcribe अमेरिका में BroadNet के चलाए NVIDIA GPU
DeepSeek V4.1 Flash पार्टनर-होस्टेड (Terms of Service §7.3)
GLM 5.3, Qwen3.8 27B API ट्रैफ़िक के लिए नहीं बताया गया

अगर यह मायने रखता है कि आपका डेटा कहाँ प्रोसेस होता है, तो भेजने से पहले BroadNet से पूछें। उसका inference पेज कहता है कि MENA या यूरोप में regional प्रोसेसिंग अनुरोध पर उपलब्ध है।

हर GPU कितना तेज़ है?

BroadNet एक मॉडल, Qwen3-VL 30B A3B Instruct, के लिए 32 समवर्ती अनुरोधों पर प्रति GPU कुल आउटपुट throughput प्रकाशित करता है:

GPU स्तर Memory bandwidth कुल टोकन/सेकंड
B300 डेटा सेंटर 8,000 GB/s 14,500
B200 डेटा सेंटर 8,000 GB/s 14,000
H200 डेटा सेंटर 4,800 GB/s 8,400
H100 डेटा सेंटर 3,350 GB/s 5,800
A100 80 GB डेटा सेंटर 2,039 GB/s 3,500
RTX PRO 6000 Blackwell वर्कस्टेशन 1,792 GB/s 3,100
RTX 3090 वर्कस्टेशन 936 GB/s 1,630
DGX Spark GB10 वर्कस्टेशन 273 GB/s 1,597
Radeon AI PRO R9700 वर्कस्टेशन 640 GB/s 1,087

BroadNet बताता है कि डेटा-सेंटर के आँकड़े “planning numbers from our measured per-GPU curve” (अनुवाद: हमारे नापे गए प्रति-GPU कर्व से निकाले गए योजना वाले नंबर) हैं, हर कार्ड पर सीधे नाप नहीं। ज़्यादातर पंक्तियाँ memory bandwidth के साथ बढ़ती हैं, जो decoding की आम सीमा होती है, लेकिन सभी नहीं: DGX Spark GB10 (273 GB/s) लगभग RTX 3090 (936 GB/s) के बराबर है, और Radeon AI PRO R9700 (640 GB/s) दोनों से पीछे है।

BroadNet के अनुसार उसके हार्डवेयर ने उसे क्या सिखाया?

कैटलॉग आठ नतीजे लिस्ट करता है, हर एक पर “measured on our own hardware” (अनुवाद: हमारे अपने हार्डवेयर पर नापा गया) लिखा है। API ख़रीदारों के लिए सबसे अहम ये हैं:

  • CUDA बनाम ROCm। एक ही मॉडल NVIDIA CUDA और AMD ROCm पर चलाने पर CUDA ने लगभग दोगुनी memory bandwidth को टोकन में बदला, इसलिए BroadNet उसी हिसाब से वर्कलोड बाँटता है।
  • लोड में speculative decoding। 32 समवर्ती अनुरोधों पर EAGLE3 ने 69% throughput घटा दिया, इसलिए BroadNet ने multi-token-prediction drafter रखे। उसकी Uno सर्विंग स्टडी एक और तरीक़े के लिए यही असर नापती है।
  • सर्विंग उतनी ही मायने रखती है जितने weights। एक होस्टेड प्रोवाइडर से सर्व किए गए वही Gemma 4 26B weights औसतन उससे 0.13 कम स्कोर लाए जिसे BroadNet “our own serving” (अनुवाद: हमारी अपनी सर्विंग) कहता है। BroadNet का नियम: तुलना करने से पहले challenger और उसके baseline को एक ही सर्विंग पर रखें।
  • कम active पैरामीटर वाला मॉडल जीत सकता है। 26B mixture of experts ने लगभग आठवें हिस्से के active पैरामीटर के साथ dense Gemma 4 31B को 6 में से 5 पाइपलाइन क़दमों पर हराया।
  • एक पाइपलाइन पर frontier के बराबर। 240 ट्रेस के blind evaluation में BroadNet के सर्व किए Gemma 4 ने नापे गए छह में से पाँच क़दमों पर Claude Sonnet की बराबरी की, हर क़दम पर 1.2 से 6.5 गुना तेज़ जवाबों के साथ।
  • प्रति-अनुरोध स्पीड। BroadNet के नाप के अनुसार, Qwen3-VL 30B A3B उस सर्विंग पर, जिसे BroadNet अपनी बताता है, प्रति अनुरोध 36.5 से 110 टोकन प्रति सेकंड पर चला, जबकि BroadNet के नापे चार OpenRouter प्रोवाइडरों पर 7 से 19।
  • आर्किटेक्चर, मॉडल के चुनाव से बड़ा है। एक कठिन सेट पर, जहाँ दो लोकल वीज़न मॉडल असहमत थे, एक होस्टेड adjudicator तक मामला बढ़ाने से सटीकता 12 में 1 से 12 में 11 हो गई।

Sonnet वाली तुलना सबसे बड़ा दावा है, और यह सीमित है: BroadNet के Gemma 4 पेज के अनुसार, एक कंपनी की chatbot पाइपलाइन, जिसे तीन जजों ने blind परखा, 11 tenant की 240 प्रोडक्शन बातचीत पर। इसका मतलब यह नहीं कि Gemma 4 आम तौर पर Sonnet के बराबर है। BroadNet ने अपने रिसर्च पेज पर उस evaluation का पूरा ब्योरा प्रकाशित नहीं किया है।

Gemma 4 मॉडल कैसे सर्व होता है?

BroadNet के मॉडल पेज के अनुसार, उसका Gemma 4 VL 26B उसके सर्विंग फ़ैसलों का सबसे साफ़ उदाहरण है:

  • Weights: Google का Gemma 4 26B A4B, जिसे BroadNet ने 4-bit AWQ में quantise किया। BroadNet ने NVFP4 टेस्ट किया और सीधी तुलना के बाद उसे हटा दिया।
  • Decoding: दो drafted टोकन (k=2) वाला multi-token-prediction speculative decoding, और fp8 KV cache।
  • Template: एक chat template जिसे BroadNet ने अपने बातचीत वाले वर्कफ़्लो के लिए ट्यून किया।
  • Resilience: अपने आप failover वाला hot backup।
  • नतीजा: एक stream पर लगभग 136 टोकन प्रति सेकंड, और BroadNet की आंतरिक quality battery पर 90.86।

शब्दों के लिए quantisation और speculative decoding देखें।

आपके लिए इसका क्या मतलब है?

उपयोग के अनुसार भुगतान वाले यूज़र के लिए BroadNet के सर्विंग फ़ैसले प्रकाशित स्पीड में दिखते हैं, प्लान मॉडल पर आम तौर पर लगभग 100 टोकन प्रति सेकंड, और सीमाओं में: प्रति key 30 अनुरोध प्रति मिनट और एक साथ 4 चालू अनुरोध। BroadNet की शर्तें कहती हैं कि self-serve पर उपलब्धता की कोई प्रतिबद्धता नहीं है; सर्विस लेवल सिर्फ़ लिखित समझौते के साथ आते हैं। दूसरे प्रोवाइडरों के SLA की तुलना।

बड़ी ज़रूरतों के लिए BroadNet रिज़र्व किए गए GPU पर प्राइवेट एंडपॉइंट देता है, आपके मॉडल, key, सीमाओं और region के साथ, और उसी स्टैक पर on-premise appliance भी। अगर आप इसकी तुलना अपने GPU किराए पर लेने से कर रहे हैं, तो हमारी self-hosting बनाम API लागत गाइड पूरा हिसाब करती है, और BroadNet ने कौन-से मॉडल ख़ारिज किए दिखाती है कि उसने क्या सर्व करना है, यह कैसे चुना।

अक्सर पूछे जाने वाले सवाल

क्या BroadNet अपने ख़ुद के GPU चलाता है?

BroadNet कहता है कि वह अपना NVIDIA और AMD GPU फ़्लीट चलाता है। उसका प्राइवेसी स्टेटमेंट कहता है कि उसके अपने मॉडल और उसके होस्ट किए open-weight मॉडल अमेरिका में BroadNet के अपने या लीज़ पर लिए हार्डवेयर पर चलते हैं, बैकअप के लिए पार्टनर क्षमता के साथ। पार्टनर से सर्व होने वाले मॉडल, जैसे DeepSeek V4.1 Flash, अमेरिकी inference पार्टनर के पास चलते हैं।

पब्लिक API कौन-सा GPU सर्व करता है?

BroadNet का कैटलॉग "the always-on public API" (अनुवाद: हमेशा चालू पब्लिक API) को अपने वर्कस्टेशन स्तर पर रखता है (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700)। उसका Gemma 4 पेज hot backup के साथ NVIDIA Blackwell-श्रेणी के GPU बताता है।

क्या कोई प्रकाशित uptime SLA है?

self-serve के लिए नहीं। BroadNet की Terms of Service कहती हैं कि self-serve पर उपलब्धता की कोई प्रतिबद्धता नहीं है, और सर्विस लेवल सिर्फ़ एक अलग लिखित समझौते में होते हैं, जैसे प्राइवेट एंडपॉइंट के लिए।

क्या मुझे एक dedicated GPU मिल सकता है?

हाँ। BroadNet रिज़र्व किए गए GPU या node पर प्राइवेट एंडपॉइंट देता है, आपकी पसंद के मॉडल, आपकी अपनी key और सीमाओं, और आपको चाहिए उस region के साथ। इनकी कीमत अनुरोध पर आपके ट्रैफ़िक के हिसाब से तय होती है।

क्या BroadNet मेरे परिसर में मॉडल चला सकता है?

BroadNet कहता है कि उसका क्लाइंट-साइट स्तर on-premise और air-gapped डिप्लॉयमेंट के लिए DGX Spark GB10 और कॉम्पैक्ट AMD appliance पर वही स्टैक चलाता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें