BroadRouter

vLLM में Uno: BroadNet की सर्विंग स्टडी ने क्या मापा

BroadNet Inference टीम · 4 मिनट में पढ़ें · प्रकाशित

vLLM में Uno, BroadNet का सितंबर 2026 का preprint है (DOI 10.5281/zenodo.22652610)। यह vLLM में Uno जोड़ता है, एक adapter जो मॉडल को अपने टोकन ख़ुद draft करने देता है। H100 पर Qwen3-8B के साथ BroadNet ने सादे vLLM के मुक़ाबले एक stream पर 2.58 गुना, आठ पर 2.20 गुना और 32 पर 1.74 गुना थ्रूपुट मापा, reference implementation से 3% के भीतर।

vLLM में Uno, BroadNet की रिसर्च शाखा का एक preprint है, जो 8 सितंबर 2026 को Zenodo पर DOI 10.5281/zenodo.22652610 के तहत प्रकाशित हुआ। यह Uno का native vLLM implementation बताता है, जो IFM की बनाई speculative-decoding विधि है, और मापता है कि यह सादे vLLM से कितना तेज़ सर्व करता है। इसके Zenodo रिकॉर्ड में लेखक Mohammad Al Zubaidi हैं।

यह पेज बताता है कि पेपर क्या कहता है, उसने यह कैसे मापा, और यह आपको क्या बताता है और क्या नहीं। संख्याएँ BroadNet की हैं; हमने उन्हें दोहराकर नहीं जाँचा है।

Uno किस समस्या को हल करता है?

भाषा मॉडल आम तौर पर हर forward pass में एक टोकन बनाता है। speculative decoding आगे के कई टोकन का अनुमान लगाकर और उन्हें पूरे मॉडल के एक pass में जाँचकर इसे तेज़ करती है। ज़्यादातर विधियाँ एक अलग, छोटा draft मॉडल इस्तेमाल करती हैं। Uno इसके बजाय मॉडल पर ही एक ट्रेन किया हुआ adapter जोड़ता है, ताकि मॉडल अपने टोकन ख़ुद draft करे और फिर उन्हें अपने मूल weights से verify करे। सामान्य विचार के लिए speculative decoding देखें।

पेपर का सवाल व्यावहारिक है: क्या यह स्पीड-अप एक प्रोडक्शन सर्विंग engine के भीतर, batching, caching और एक साथ कई अनुरोधों के बीच, टिका रहता है?

BroadNet ने क्या बनाया?

BroadNet की ब्लॉग पोस्ट श्रेय को लेकर साफ़ है: विधि “Uno, developed by IFM and collaborators” (अनुवाद: IFM और सहयोगियों द्वारा विकसित Uno) है, और BroadNet का योगदान “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (अनुवाद: native vLLM इंटीग्रेशन, वह इंजीनियरिंग जो इसके execution paths को साथ काम करने लायक बनाती है, और सर्विंग मूल्यांकन) है। abstract execution के हिस्से गिनाता है: conditional adapter routing, पूरा draft key/value state, asynchronous scheduling, CUDA graph replay, overlapping adapter computation और seed-row reuse।

कोड BroadNet की vllm-uno रिपॉज़िटरी में सार्वजनिक है, और BroadNet ने इसे pull request 55947 के रूप में upstream vLLM को प्रस्तावित किया है।

इसे कैसे मापा गया?

मुख्य टेस्ट नियंत्रित है:

  • हार्डवेयर और मॉडल: एक NVIDIA H100, bfloat16 में Qwen3-8B, प्रकाशित Qwen3-8B Uno adapter के साथ।
  • वर्कलोड: आठ गणित प्रॉम्प्ट, बड़े batch भरने के लिए दोहराए गए, हर एक 512 टोकन तक बनाता है, prefix caching बंद।
  • Baseline: उसी सेटअप पर सामान्य autoregressive vLLM (“सादा vLLM”)।
  • Concurrency: 1, 8 और 32 एक साथ streams।

एक दूसरी, अलग तुलना prefix caching चालू करती है और BroadNet की चुनी सर्विंग सेटिंग इस्तेमाल करती है, ताकि SGLang reference implementation से तुलना हो सके।

स्टडी में क्या मिला?

माप BroadNet का बताया नतीजा
सादे vLLM के मुक़ाबले थ्रूपुट, 1 stream 2.58x
सादे vLLM के मुक़ाबले थ्रूपुट, 8 streams 2.20x
सादे vLLM के मुक़ाबले थ्रूपुट, 32 streams 1.74x
SGLang reference implementation से अंतर 1, 8 और 32 streams पर 3% के भीतर
प्रोडक्शन सेटिंग, 32 streams 7,657 टोकन/s, SGLang के 7,505 के मुक़ाबले (2.0% आगे)
warm first-token latency, vLLM के भीतर ablation एक के बजाय दो API प्रोसेस के साथ 25% कम

क्षमता योजना के लिए मुख्य बात पहले ब्लॉक की आख़िरी पंक्ति है: उसी GPU से 32 एक साथ streams पर प्रति सेकंड 74% ज़्यादा आउटपुट। BroadNet का ब्लॉग इसे “the central payoff” (अनुवाद: मुख्य फ़ायदा) कहता है, क्योंकि जो स्पीड-अप लोड में ग़ायब हो जाए, वह साझा API के लिए ज़्यादा काम का नहीं।

बाद की एक रिलीज़ (v0.2.0, vLLM के Model Runner V2 पर) BroadNet के ब्लॉग पर Blackwell पर 2.1 से 2.4 गुना, Ampere पर 1.7 से 1.9 गुना और Hopper पर 2.6 गुना single-stream आउटपुट के साथ बताई गई है। ये पेपर की मुख्य टेबल से अलग हार्डवेयर और वर्शन हैं, इसीलिए आँकड़े अलग हैं।

सीमाएँ क्या हैं?

  • एक मॉडल, एक वर्कलोड। नियंत्रित नतीजा गणित प्रॉम्प्ट पर Qwen3-8B का है। कोड, चैट या लंबे दस्तावेज़ कम draft टोकन स्वीकार कर सकते हैं।
  • लोड के साथ फ़ायदा घटता है। 2.58x से 1.74x का रुझान अपेक्षित आकार है: जब GPU व्यस्त होता है, तो drafting के लिए बचा compute ख़त्म हो जाता है।
  • एक preprint। पेपर Zenodo पर जमा है, peer-review नहीं हुआ। उसके साथ के आर्काइव में evidence inventory और figure डेटा है, जिससे दूसरे इसे जाँच सकते हैं।
  • स्व-रिपोर्टेड। दोनों arm BroadNet ने चलाए। reference implementation से 3% का मेल इस पर पेपर की अपनी जाँच है।

अगर आप सिर्फ़ API कॉल करते हैं, तो यह क्यों मायने रखता है?

प्रति GPU थ्रूपुट तय करता है कि प्रोवाइडर कितना चार्ज कर सकता है और लोड में कितनी तेज़ी से जवाब देता है। BroadNet का कैटलॉग बताता है कि वह कोई drafting विधि चुनने से पहले उसे असली concurrency पर मापता है, और उसने EAGLE3 को तब ख़ारिज किया जब उसने 32 एक साथ अनुरोधों पर 69% थ्रूपुट गँवाया। Gemma 4 26B पर फ़ॉलो-अप स्टडी यही विधि उस mixture-of-experts मॉडल पर लागू करती है जिसे BroadNet Gemma 4 VL 26B के नाम से बेचता है। यह BroadNet के बड़े सर्विंग फ़ैसलों में कैसे फ़िट होता है, इसके लिए BroadNet का GPU हार्डवेयर और सर्विंग तरीक़ा देखें।

अगर आप अपने vLLM सर्वर चलाते हैं, तो व्यावहारिक सबक़ यह है: किसी भी drafting विधि को उस concurrency पर बेंचमार्क करें जिस पर आप असल में चलाते हैं, एक stream पर नहीं।

अक्सर पूछे जाने वाले सवाल

Uno क्या है?

Uno, IFM और सहयोगियों की बनाई speculative-decoding विधि है। एक छोटा ट्रेन किया हुआ adapter मॉडल को एक साथ कई टोकन प्रस्तावित करने देता है, और फिर मॉडल के अपने weights उन्हें verify करते हैं। कोई अलग draft मॉडल नहीं होता।

क्या यह स्पीड-अप lossless है?

BroadNet अपनी रिलीज़ के लिए यही कहता है: जब भी सादा vLLM अपना आउटपुट दोहराता है, Uno उसके greedy टोकन से मेल खाता है, और उसके sampled-distribution टेस्ट पास होते हैं। speculative decoding हर draft टोकन को पूरे मॉडल से verify करती है, इसलिए आउटपुट क्वालिटी नहीं बदलनी चाहिए; इसे अपने प्रॉम्प्ट पर जाँचें।

क्या ज़्यादा concurrency पर Uno मदद करता है?

कम concurrency के मुक़ाबले कम। पेपर के नियंत्रित टेस्ट में फ़ायदा एक stream पर 2.58x से गिरकर 32 पर 1.74x रह गया। BroadNet का कैटलॉग यह भी बताता है कि एक दूसरी विधि, EAGLE3, ने 32 एक साथ अनुरोधों पर 69% थ्रूपुट गँवाया, इसलिए drafting विधियों को अपने असली लोड पर टेस्ट करना ज़रूरी है।

क्या मैं इसे ख़ुद चला सकता हूँ?

हाँ। BroadNet इसका implementation अपनी vllm-uno रिपॉज़िटरी में प्रकाशित करता है, हर रिलीज़ के लिए कंटेनर इमेज, pinned वर्शन और validation रिकॉर्ड के साथ, और उसने इसे pull request 55947 के रूप में vLLM को प्रस्तावित किया है।

क्या BroadNet Inference अपने API मॉडलों के लिए Uno इस्तेमाल करता है?

BroadNet ऐसा नहीं कहता। उसका कैटलॉग Gemma 4 26B के लिए प्रोडक्शन में multi-token-prediction drafter (k=2) दिखाता है। Uno एक रिसर्च नतीजा है जिसे BroadNet प्रकाशित करता है; अगर आपको यह प्राइवेट एंडपॉइंट पर चाहिए, तो BroadNet से पूछें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें