BroadNet का दूसरा Uno preprint पहली बार self-drafting को एक mixture-of-experts मॉडल पर लागू करता है। 18 सितंबर 2026 को Zenodo पर DOI 10.5281/zenodo.22820511 के तहत प्रकाशित यह पेपर Gemma 4 26B A4B को 4-bit पर सर्व करता है और उसके लिए एक Uno adapter ट्रेन करता है। लक्ष्य वही बेस मॉडल है जो BroadNet Inference पर BroadNet Gemma 4 VL 26B का है।
यह vLLM में Uno की सर्विंग स्टडी के बाद आया है, जिसमें एक dense 8B मॉडल टेस्ट किया गया था। नीचे की संख्याएँ BroadNet की हैं; हमने उन्हें दोहराकर नहीं जाँचा है।
सवाल क्या था?
speculative decoding कई टोकन का draft बनाती है और उन्हें एक pass में verify करती है। mixture-of-experts मॉडल पर एक अतिरिक्त चिंता है: draft की पंक्तियाँ अलग-अलग experts तक route हो सकती हैं, इसलिए चार टोकन का draft बनाने में एक टोकन बनाने से कहीं ज़्यादा expert weights पढ़ने पड़ सकते हैं। पेपर पूछता है कि क्या यह “expert fan-out” self-drafting को बहुत महँगा बना देता है, और self-drafting कब अलग drafter से बेहतर होता है।
BroadNet ने इसे कैसे टेस्ट किया?
पेपर के abstract और BroadNet की methods पंक्ति के अनुसार:
- मॉडल: Gemma 4 26B A4B, हर टोकन पर लगभग 4B पैरामीटर सक्रिय, 4-bit weights के साथ।
- हार्डवेयर: 24 GB-क्लास GPU, एक समय में एक sequence।
- वर्कलोड: BroadNet के प्रोडक्शन ट्रैफ़िक से 72 प्रॉम्प्ट; हर स्पीड-अप को उसी सेशन में सादी डिकोडिंग वाले रन से भाग दिया गया।
- लंबा कॉन्टेक्स्ट: लगभग 10,500 टोकन वाले पाँच प्रॉम्प्ट का अलग सेट।
- Adapter: rank 16, 965 पंक्तियों पर उसी 4-bit checkpoint के ज़रिए ट्रेन किया गया जिस पर वह सर्व होता है, एक 24 GB GPU पर, बिना किसी full-precision weights के।
क्या नतीजे निकले?
| Gemma 4 26B A4B को कैसे डिकोड किया गया | सादी डिकोडिंग के मुक़ाबले स्पीड-अप |
|---|---|
| सादी डिकोडिंग | 1.000 |
| Uno pilot adapter, width 4 | 1.166 |
| Multi-token-prediction drafter, width 2 | 1.474 |
| Block drafter, width 8 | 1.553 |
| लगभग 10,500 टोकन कॉन्टेक्स्ट पर Uno | 1.089 (MTP drafter: 1.011) |
BroadNet के बताए अन्य नतीजे:
- ट्रेनिंग से फ़ायदा हुआ। 1,500 updates में स्वीकार हिस्सा 42.4% से 48.9% हुआ, और उसी recipe पर ट्रेन किए गए 2,000 पंक्तियों वाले बड़े corpus ने मिलान वाले anchor रन की तुलना में हर verify step में 0.49 ज़्यादा draft टोकन स्वीकार करवाए।
- Expert fan-out असली है, पर सस्ता है। चार draft पंक्तियों ने 22 अलग experts छुए, जबकि एक पंक्ति ने 8, फिर भी पंक्तियों से जुड़ी पूरी लागत लगभग 2.4 steps की साइकिल में 0.53 steps तक सीमित रही। BroadNet का निष्कर्ष है कि इस क्लास के हार्डवेयर पर routing की लागत “worth under a fifth of a cycle” (अनुवाद: एक साइकिल के पाँचवें हिस्से से कम) है।
- Lossless। BroadNet ने एक ऐसी प्रोफ़ाइल के लिए जाँच बनाई जिसका सादा आउटपुट अलग-अलग सेशन में ख़ुद को दोहराता नहीं, और Uno को “as close to plain as plain is to itself” (अनुवाद: सादी डिकोडिंग के उतना ही क़रीब, जितनी सादी डिकोडिंग ख़ुद से है) बताता है।
- पाँच भाषाएँ। पेपर पाँच भाषाओं में इस adapter की स्वीकार दर का वह माप देता है जिसे वह पहला माप कहता है।
व्यवहार में इसका क्या मतलब है?
पेपर का अपना नियम सीधा है: अगर आपके मॉडल के लिए अच्छा छोटा drafter मौजूद है, तो उसे इस्तेमाल करें; self-drafting लंबे कॉन्टेक्स्ट पर और उन मॉडलों पर अपनी जगह बनाता है जिनका कोई drafter नहीं। यह BroadNet के बताए अपने सेटअप से मेल खाता है: उसका कैटलॉग Gemma 4 26B को प्रोडक्शन में multi-token-prediction drafter (k=2) के साथ दिखाता है, “90%+ acceptance on structured prompts” (अनुवाद: structured प्रॉम्प्ट पर 90%+ स्वीकार दर) के साथ।
प्रोडक्शन में drafter कितना जोड़ता है? BroadNet के कैटलॉग के अनुसार RTX 3090 पर multi-token prediction ने 48.8% जोड़ा, और उसका Gemma 4 VL 26B पेज speculative decoding चालू होने पर एक stream पर लगभग 136 टोकन प्रति सेकंड बताता है। दोनों BroadNet के अपने माप हैं, उस सर्विंग कॉन्फ़िगरेशन पर जो उसका मॉडल पेज बताता है, इसलिए API से आपकी स्पीड लोड पर और आपके प्रॉम्प्ट व जवाब की लंबाई पर भी निर्भर करती है।
API ख़रीदने वालों के लिए काम का हिस्सा adapter नहीं, विधि है। BroadNet कहता है कि वह जो भी मॉडल सर्व करता है, वह ग्राहक तक पहुँचने से पहले इसी हिसाब से गुज़रता है: एक draft साइकिल की लागत मापो, फिर वह drafter चुनो जो असली वर्कलोड पर जीतता है। इसी अनुशासन के चलते उसने saturated सर्विंग के लिए EAGLE3 को ख़ारिज किया।
सीमाएँ क्या हैं?
- सिर्फ़ single-stream। एक समय में एक sequence, हर arm का एक रन। batch सर्विंग अलग व्यवहार करती है, जैसा dense स्टडी ने दिखाया।
- एक मॉडल। नतीजे 24 GB-क्लास कार्ड पर 4-bit वाले Gemma 4 26B A4B के हैं।
- एक preprint। Zenodo पर वर्शन 2.3, peer-review नहीं हुआ, साथ में एक evidence आर्काइव जुड़ा है।
vllm-uno की रिलीज़ v0.3.0 में सर्विंग प्रोफ़ाइल, कंटेनर इमेज और validation रिकॉर्ड हैं, ताकि संख्याएँ जाँची जा सकें। सर्व किए गए मॉडल को ख़ुद आज़माने के लिए BroadNet का ब्राउज़र playground बिना अकाउंट के Gemma 4 चलाता है।
