BroadNet अपने inference हार्डवेयर के बारे में असामान्य रूप से विस्तार से बताता है। उसका मॉडल कैटलॉग उन GPU को लिस्ट करता है जिन्हें वह चलाने की बात कहता है, प्रति कार्ड नापा गया throughput, और उन पर एक ही मॉडल चलाकर उसने क्या सीखा। यह पेज BroadNet के कहे का सारांश है, और जहाँ मायने रखता है वहाँ उसके अपने शब्दों में। हमने हार्डवेयर की जाँच नहीं की है, और नाप BroadNet के अपने हैं, सितंबर 2026 के।
BroadNet कौन-सा हार्डवेयर चलाने की बात कहता है?
BroadNet कहता है कि वह “one fleet, three tiers, one stack” (अनुवाद: एक फ़्लीट, तीन स्तर, एक स्टैक) चलाता है: डेटा-सेंटर accelerator से लेकर क्लाइंट साइट के appliance तक वही engine, quantisation और gateway।
| स्तर | BroadNet के लिस्ट किए GPU | BroadNet इसका इस्तेमाल किसलिए करता है |
|---|---|---|
| डेटा सेंटर | B300, B200, H200, H100, A100 80 GB | flagship सर्विंग, quantisation और calibration, fine-tuning, dedicated प्राइवेट एंडपॉइंट, data-residency वाली प्लेसमेंट |
| वर्कस्टेशन | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | हमेशा चालू पब्लिक API, CUDA और ROCm पर बेंचमार्किंग, मॉडल डेवलपमेंट |
| क्लाइंट साइट | DGX Spark GB10, कॉम्पैक्ट AMD appliance | उसी स्टैक पर on-premise और air-gapped डिप्लॉयमेंट |
कुल मिलाकर BroadNet लगभग 270 मॉडल चलाने, लगभग 200 checkpoint लोड करने, लगभग 40 मॉडल फ़ैमिली, 12 या ज़्यादा quantisation फ़ॉर्मैट और 13 GPU फ़ैमिली की बात बताता है। वह यह भी कहता है: “a single H100 serves the entire current public catalogue with headroom” (अनुवाद: एक अकेला H100 पूरा मौजूदा पब्लिक कैटलॉग, गुंजाइश के साथ, सर्व करता है)।
कौन-से API मॉडल इस पर चलते हैं?
सभी नहीं। BroadNet का प्राइवेसी स्टेटमेंट कहता है कि उसके अपने मॉडल और उसके होस्ट किए open-weight मॉडल अमेरिका में BroadNet के अपने या लीज़ पर लिए हार्डवेयर पर चलते हैं, बैकअप के लिए पार्टनर क्षमता के साथ, और पार्टनर से सर्व होने वाले मॉडल अमेरिकी inference पार्टनर के पास zero-data-retention शर्तों पर चलते हैं। उसकी Terms of Service DeepSeek V4.1 Flash को पार्टनर-होस्टेड बताती हैं।
BroadNet के अपने पेज हर मॉडल के बारे में क्या कहते हैं:
| API पर मॉडल | BroadNet का बताया हार्डवेयर |
|---|---|
| Gemma 4 VL 26B | hot backup के साथ NVIDIA Blackwell-श्रेणी के GPU |
| Transcribe Arabic और Transcribe | अमेरिका में BroadNet के चलाए NVIDIA GPU |
| DeepSeek V4.1 Flash | पार्टनर-होस्टेड (Terms of Service §7.3) |
| GLM 5.3, Qwen3.8 27B | API ट्रैफ़िक के लिए नहीं बताया गया |
अगर यह मायने रखता है कि आपका डेटा कहाँ प्रोसेस होता है, तो भेजने से पहले BroadNet से पूछें। उसका inference पेज कहता है कि MENA या यूरोप में regional प्रोसेसिंग अनुरोध पर उपलब्ध है।
हर GPU कितना तेज़ है?
BroadNet एक मॉडल, Qwen3-VL 30B A3B Instruct, के लिए 32 समवर्ती अनुरोधों पर प्रति GPU कुल आउटपुट throughput प्रकाशित करता है:
| GPU | स्तर | Memory bandwidth | कुल टोकन/सेकंड |
|---|---|---|---|
| B300 | डेटा सेंटर | 8,000 GB/s | 14,500 |
| B200 | डेटा सेंटर | 8,000 GB/s | 14,000 |
| H200 | डेटा सेंटर | 4,800 GB/s | 8,400 |
| H100 | डेटा सेंटर | 3,350 GB/s | 5,800 |
| A100 80 GB | डेटा सेंटर | 2,039 GB/s | 3,500 |
| RTX PRO 6000 Blackwell | वर्कस्टेशन | 1,792 GB/s | 3,100 |
| RTX 3090 | वर्कस्टेशन | 936 GB/s | 1,630 |
| DGX Spark GB10 | वर्कस्टेशन | 273 GB/s | 1,597 |
| Radeon AI PRO R9700 | वर्कस्टेशन | 640 GB/s | 1,087 |
BroadNet बताता है कि डेटा-सेंटर के आँकड़े “planning numbers from our measured per-GPU curve” (अनुवाद: हमारे नापे गए प्रति-GPU कर्व से निकाले गए योजना वाले नंबर) हैं, हर कार्ड पर सीधे नाप नहीं। ज़्यादातर पंक्तियाँ memory bandwidth के साथ बढ़ती हैं, जो decoding की आम सीमा होती है, लेकिन सभी नहीं: DGX Spark GB10 (273 GB/s) लगभग RTX 3090 (936 GB/s) के बराबर है, और Radeon AI PRO R9700 (640 GB/s) दोनों से पीछे है।
BroadNet के अनुसार उसके हार्डवेयर ने उसे क्या सिखाया?
कैटलॉग आठ नतीजे लिस्ट करता है, हर एक पर “measured on our own hardware” (अनुवाद: हमारे अपने हार्डवेयर पर नापा गया) लिखा है। API ख़रीदारों के लिए सबसे अहम ये हैं:
- CUDA बनाम ROCm। एक ही मॉडल NVIDIA CUDA और AMD ROCm पर चलाने पर CUDA ने लगभग दोगुनी memory bandwidth को टोकन में बदला, इसलिए BroadNet उसी हिसाब से वर्कलोड बाँटता है।
- लोड में speculative decoding। 32 समवर्ती अनुरोधों पर EAGLE3 ने 69% throughput घटा दिया, इसलिए BroadNet ने multi-token-prediction drafter रखे। उसकी Uno सर्विंग स्टडी एक और तरीक़े के लिए यही असर नापती है।
- सर्विंग उतनी ही मायने रखती है जितने weights। एक होस्टेड प्रोवाइडर से सर्व किए गए वही Gemma 4 26B weights औसतन उससे 0.13 कम स्कोर लाए जिसे BroadNet “our own serving” (अनुवाद: हमारी अपनी सर्विंग) कहता है। BroadNet का नियम: तुलना करने से पहले challenger और उसके baseline को एक ही सर्विंग पर रखें।
- कम active पैरामीटर वाला मॉडल जीत सकता है। 26B mixture of experts ने लगभग आठवें हिस्से के active पैरामीटर के साथ dense Gemma 4 31B को 6 में से 5 पाइपलाइन क़दमों पर हराया।
- एक पाइपलाइन पर frontier के बराबर। 240 ट्रेस के blind evaluation में BroadNet के सर्व किए Gemma 4 ने नापे गए छह में से पाँच क़दमों पर Claude Sonnet की बराबरी की, हर क़दम पर 1.2 से 6.5 गुना तेज़ जवाबों के साथ।
- प्रति-अनुरोध स्पीड। BroadNet के नाप के अनुसार, Qwen3-VL 30B A3B उस सर्विंग पर, जिसे BroadNet अपनी बताता है, प्रति अनुरोध 36.5 से 110 टोकन प्रति सेकंड पर चला, जबकि BroadNet के नापे चार OpenRouter प्रोवाइडरों पर 7 से 19।
- आर्किटेक्चर, मॉडल के चुनाव से बड़ा है। एक कठिन सेट पर, जहाँ दो लोकल वीज़न मॉडल असहमत थे, एक होस्टेड adjudicator तक मामला बढ़ाने से सटीकता 12 में 1 से 12 में 11 हो गई।
Sonnet वाली तुलना सबसे बड़ा दावा है, और यह सीमित है: BroadNet के Gemma 4 पेज के अनुसार, एक कंपनी की chatbot पाइपलाइन, जिसे तीन जजों ने blind परखा, 11 tenant की 240 प्रोडक्शन बातचीत पर। इसका मतलब यह नहीं कि Gemma 4 आम तौर पर Sonnet के बराबर है। BroadNet ने अपने रिसर्च पेज पर उस evaluation का पूरा ब्योरा प्रकाशित नहीं किया है।
Gemma 4 मॉडल कैसे सर्व होता है?
BroadNet के मॉडल पेज के अनुसार, उसका Gemma 4 VL 26B उसके सर्विंग फ़ैसलों का सबसे साफ़ उदाहरण है:
- Weights: Google का Gemma 4 26B A4B, जिसे BroadNet ने 4-bit AWQ में quantise किया। BroadNet ने NVFP4 टेस्ट किया और सीधी तुलना के बाद उसे हटा दिया।
- Decoding: दो drafted टोकन (k=2) वाला multi-token-prediction speculative decoding, और fp8 KV cache।
- Template: एक chat template जिसे BroadNet ने अपने बातचीत वाले वर्कफ़्लो के लिए ट्यून किया।
- Resilience: अपने आप failover वाला hot backup।
- नतीजा: एक stream पर लगभग 136 टोकन प्रति सेकंड, और BroadNet की आंतरिक quality battery पर 90.86।
शब्दों के लिए quantisation और speculative decoding देखें।
आपके लिए इसका क्या मतलब है?
उपयोग के अनुसार भुगतान वाले यूज़र के लिए BroadNet के सर्विंग फ़ैसले प्रकाशित स्पीड में दिखते हैं, प्लान मॉडल पर आम तौर पर लगभग 100 टोकन प्रति सेकंड, और सीमाओं में: प्रति key 30 अनुरोध प्रति मिनट और एक साथ 4 चालू अनुरोध। BroadNet की शर्तें कहती हैं कि self-serve पर उपलब्धता की कोई प्रतिबद्धता नहीं है; सर्विस लेवल सिर्फ़ लिखित समझौते के साथ आते हैं। दूसरे प्रोवाइडरों के SLA की तुलना।
बड़ी ज़रूरतों के लिए BroadNet रिज़र्व किए गए GPU पर प्राइवेट एंडपॉइंट देता है, आपके मॉडल, key, सीमाओं और region के साथ, और उसी स्टैक पर on-premise appliance भी। अगर आप इसकी तुलना अपने GPU किराए पर लेने से कर रहे हैं, तो हमारी self-hosting बनाम API लागत गाइड पूरा हिसाब करती है, और BroadNet ने कौन-से मॉडल ख़ारिज किए दिखाती है कि उसने क्या सर्व करना है, यह कैसे चुना।
