---
title: "Gemma 4 26B MoE पर Uno: BroadNet की स्टडी और DOI | BroadRouter"
description: "BroadNet ने mixture-of-experts मॉडल Gemma 4 26B A4B के लिए पहला Uno self-drafting adapter ट्रेन किया। क्या मापा गया, self-drafting कब फ़ायदेमंद है, और DOI।"
url: https://broadrouter.com/hi/blog/uno-mixture-of-experts-gemma-4-study/
lang: hi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/blog/uno-mixture-of-experts-gemma-4-study/) (2026-11-16 को अपडेट किया गया).

# Gemma 4 26B पर Uno: BroadNet की mixture-of-experts स्टडी

BroadNet Inference टीम · 3 मिनट में पढ़ें · प्रकाशित 2026-11-15 · अपडेट किया गया 2026-11-16

BroadNet का सितंबर 2026 का preprint (DOI 10.5281/zenodo.22820511) mixture-of-experts मॉडल Gemma 4 26B A4B के लिए पहला Uno adapter ट्रेन करता है, जिसे 4-bit पर सर्व किया गया। 72 प्रॉम्प्ट वाले प्रोडक्शन वर्कलोड पर adapter सादी डिकोडिंग से 1.166 गुना तेज़ है, दो अलग drafter (1.474 और 1.553) से पीछे, लेकिन लगभग 10,500 टोकन कॉन्टेक्स्ट पर प्रोडक्शन drafter से आगे।

## मुख्य बातें

-   Zenodo पर preprint, DOI 10.5281/zenodo.22820511, वर्शन 2.3, 18 सितंबर 2026, CC BY 4.0। peer-review नहीं हुआ।
-   लक्ष्य मॉडल: Gemma 4 26B A4B, जो BroadNet Gemma 4 VL 26B का बेस है, 4-bit weights के साथ सर्व किया गया।
-   965 पंक्तियों पर ट्रेन किए गए rank-16 adapter ने स्वीकार किए गए draft 42.4% से बढ़ाकर 48.9% किए।
-   सादी डिकोडिंग के मुक़ाबले स्पीड-अप: Uno adapter 1.166x, multi-token-prediction drafter 1.474x, block drafter 1.553x।
-   लगभग 10,500 टोकन कॉन्टेक्स्ट पर adapter प्रोडक्शन drafter से आगे रहा, 1.089x बनाम 1.011x।

**इस पेज पर**

1.  सवाल क्या था?
2.  BroadNet ने इसे कैसे टेस्ट किया?
3.  क्या नतीजे निकले?
4.  व्यवहार में इसका क्या मतलब है?
5.  सीमाएँ क्या हैं?

BroadNet का दूसरा Uno preprint पहली बार self-drafting को एक [mixture-of-experts](https://broadrouter.com/hi/glossary/mixture-of-experts/) मॉडल पर लागू करता है। 18 सितंबर 2026 को Zenodo पर DOI [10.5281/zenodo.22820511](https://doi.org/10.5281/zenodo.22820511) के तहत प्रकाशित यह पेपर Gemma 4 26B A4B को 4-bit पर सर्व करता है और उसके लिए एक Uno adapter ट्रेन करता है। लक्ष्य वही बेस मॉडल है जो BroadNet Inference पर [BroadNet Gemma 4 VL 26B](https://broadrouter.com/hi/models/gemma-4-vl-26b/) का है।

यह [vLLM में Uno की सर्विंग स्टडी](https://broadrouter.com/hi/blog/uno-in-vllm-serving-study/) के बाद आया है, जिसमें एक dense 8B मॉडल टेस्ट किया गया था। नीचे की संख्याएँ BroadNet की हैं; हमने उन्हें दोहराकर नहीं जाँचा है।

## सवाल क्या था?

speculative decoding कई टोकन का draft बनाती है और उन्हें एक pass में verify करती है। mixture-of-experts मॉडल पर एक अतिरिक्त चिंता है: draft की पंक्तियाँ अलग-अलग experts तक route हो सकती हैं, इसलिए चार टोकन का draft बनाने में एक टोकन बनाने से कहीं ज़्यादा expert weights पढ़ने पड़ सकते हैं। पेपर पूछता है कि क्या यह “expert fan-out” self-drafting को बहुत महँगा बना देता है, और self-drafting कब अलग drafter से बेहतर होता है।

## BroadNet ने इसे कैसे टेस्ट किया?

पेपर के abstract और BroadNet की methods पंक्ति के अनुसार:

-   **मॉडल:** Gemma 4 26B A4B, हर टोकन पर लगभग 4B पैरामीटर सक्रिय, 4-bit weights के साथ।
-   **हार्डवेयर:** 24 GB-क्लास GPU, एक समय में एक sequence।
-   **वर्कलोड:** BroadNet के प्रोडक्शन ट्रैफ़िक से 72 प्रॉम्प्ट; हर स्पीड-अप को उसी सेशन में सादी डिकोडिंग वाले रन से भाग दिया गया।
-   **लंबा कॉन्टेक्स्ट:** लगभग 10,500 टोकन वाले पाँच प्रॉम्प्ट का अलग सेट।
-   **Adapter:** rank 16, 965 पंक्तियों पर उसी 4-bit checkpoint के ज़रिए ट्रेन किया गया जिस पर वह सर्व होता है, एक 24 GB GPU पर, बिना किसी full-precision weights के।

## क्या नतीजे निकले?

| Gemma 4 26B A4B को कैसे डिकोड किया गया | सादी डिकोडिंग के मुक़ाबले स्पीड-अप |
| --- | --- |
| सादी डिकोडिंग | 1.000 |
| Uno pilot adapter, width 4 | 1.166 |
| Multi-token-prediction drafter, width 2 | 1.474 |
| Block drafter, width 8 | 1.553 |
| लगभग 10,500 टोकन कॉन्टेक्स्ट पर Uno | 1.089 (MTP drafter: 1.011) |

BroadNet के बताए अन्य नतीजे:

-   **ट्रेनिंग से फ़ायदा हुआ।** 1,500 updates में स्वीकार हिस्सा 42.4% से 48.9% हुआ, और उसी recipe पर ट्रेन किए गए 2,000 पंक्तियों वाले बड़े corpus ने मिलान वाले anchor रन की तुलना में हर verify step में 0.49 ज़्यादा draft टोकन स्वीकार करवाए।
-   **Expert fan-out असली है, पर सस्ता है।** चार draft पंक्तियों ने 22 अलग experts छुए, जबकि एक पंक्ति ने 8, फिर भी पंक्तियों से जुड़ी पूरी लागत लगभग 2.4 steps की साइकिल में 0.53 steps तक सीमित रही। BroadNet का निष्कर्ष है कि इस क्लास के हार्डवेयर पर routing की लागत “worth under a fifth of a cycle” (अनुवाद: एक साइकिल के पाँचवें हिस्से से कम) है।
-   **Lossless।** BroadNet ने एक ऐसी प्रोफ़ाइल के लिए जाँच बनाई जिसका सादा आउटपुट अलग-अलग सेशन में ख़ुद को दोहराता नहीं, और Uno को “as close to plain as plain is to itself” (अनुवाद: सादी डिकोडिंग के उतना ही क़रीब, जितनी सादी डिकोडिंग ख़ुद से है) बताता है।
-   **पाँच भाषाएँ।** पेपर पाँच भाषाओं में इस adapter की स्वीकार दर का वह माप देता है जिसे वह पहला माप कहता है।

## व्यवहार में इसका क्या मतलब है?

पेपर का अपना नियम सीधा है: अगर आपके मॉडल के लिए अच्छा छोटा drafter मौजूद है, तो उसे इस्तेमाल करें; self-drafting लंबे कॉन्टेक्स्ट पर और उन मॉडलों पर अपनी जगह बनाता है जिनका कोई drafter नहीं। यह BroadNet के बताए अपने सेटअप से मेल खाता है: उसका कैटलॉग Gemma 4 26B को प्रोडक्शन में multi-token-prediction drafter (k=2) के साथ दिखाता है, “90%+ acceptance on structured prompts” (अनुवाद: structured प्रॉम्प्ट पर 90%+ स्वीकार दर) के साथ।

प्रोडक्शन में drafter कितना जोड़ता है? BroadNet के कैटलॉग के अनुसार RTX 3090 पर multi-token prediction ने 48.8% जोड़ा, और उसका Gemma 4 VL 26B पेज speculative decoding चालू होने पर एक stream पर लगभग 136 टोकन प्रति सेकंड बताता है। दोनों BroadNet के अपने माप हैं, उस सर्विंग कॉन्फ़िगरेशन पर जो उसका मॉडल पेज बताता है, इसलिए API से आपकी स्पीड लोड पर और आपके प्रॉम्प्ट व जवाब की लंबाई पर भी निर्भर करती है।

API ख़रीदने वालों के लिए काम का हिस्सा adapter नहीं, विधि है। BroadNet कहता है कि वह जो भी मॉडल सर्व करता है, वह ग्राहक तक पहुँचने से पहले इसी हिसाब से गुज़रता है: एक draft साइकिल की लागत मापो, फिर वह drafter चुनो जो असली वर्कलोड पर जीतता है। इसी अनुशासन के चलते उसने saturated सर्विंग के लिए [EAGLE3 को ख़ारिज किया](https://broadrouter.com/hi/blog/models-broadnet-ruled-out/)।

## सीमाएँ क्या हैं?

-   **सिर्फ़ single-stream।** एक समय में एक sequence, हर arm का एक रन। batch सर्विंग अलग व्यवहार करती है, जैसा dense स्टडी ने दिखाया।
-   **एक मॉडल।** नतीजे 24 GB-क्लास कार्ड पर 4-bit वाले Gemma 4 26B A4B के हैं।
-   **एक preprint।** Zenodo पर वर्शन 2.3, peer-review नहीं हुआ, साथ में एक evidence आर्काइव जुड़ा है।

[vllm-uno](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0) की रिलीज़ v0.3.0 में सर्विंग प्रोफ़ाइल, कंटेनर इमेज और validation रिकॉर्ड हैं, ताकि संख्याएँ जाँची जा सकें। सर्व किए गए मॉडल को ख़ुद आज़माने के लिए BroadNet का [ब्राउज़र playground](https://broadrouter.com/hi/guides/try-broadnet-inference-playground/) बिना अकाउंट के Gemma 4 चलाता है।

इस विषय के मुफ़्त टूल (अंग्रेज़ी में)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[मुफ़्त टूल (अंग्रेज़ी में)](https://broadrouter.com/tools/)

## इस लेख के शब्द

[टोकन (token)](https://broadrouter.com/hi/glossary/token/)

टोकन टेक्स्ट की वह इकाई है जिसे लैंग्वेज मॉडल पढ़ता और लिखता है: कोई शब्द, शब्द का हिस्सा, विराम चिह्न या बाइट का क्रम, जो मॉडल का टोकनाइज़र बनाता है। LLM API इस्तेमाल को टोकन में गिनते हैं, उसी में लिमिट लगाते हैं और आम तौर पर बिल भी बनाते हैं।

[Prefill और decode](https://broadrouter.com/hi/glossary/prefill-and-decode/)

Prefill और decode LLM इन्फ़रेंस के दो चरण हैं। Prefill में मॉडल पूरा प्रॉम्प्ट समानांतर रूप से प्रोसेस करके अपना KV cache भरता है; decode में वह उसी cache को दोबारा इस्तेमाल करते हुए जवाब एक-एक टोकन करके बनाता है। Prefill मुख्य रूप से पहले टोकन तक का समय तय करता है; decode आउटपुट की रफ़्तार।

[स्पेक्युलेटिव डिकोडिंग (speculative decoding)](https://broadrouter.com/hi/glossary/speculative-decoding/)

स्पेक्युलेटिव डिकोडिंग एक इन्फ़रेंस तकनीक है जिसमें छोटा, तेज़ ड्राफ़्ट मॉडल अगले कई टोकन सुझाता है और बड़ा टारगेट मॉडल उन्हें एक ही forward pass में जाँचकर स्वीकार किए गए टोकन रखता है। यह आउटपुट के डिस्ट्रिब्यूशन को बदले बिना जनरेशन तेज़ करती है।

[टोकन प्रति सेकंड (tokens per second, TPS)](https://broadrouter.com/hi/glossary/tokens-per-second/)

टोकन प्रति सेकंड (TPS) वह दर है जिस पर लैंग्वेज मॉडल आउटपुट टोकन बनाता है, आम तौर पर एक अनुरोध का पहला टोकन आने के बाद नापी जाती है। यह तय करती है कि शुरू होकर जवाब कितना तेज़ स्ट्रीम होगा। सभी कॉन्करेंट अनुरोधों का जोड़ सिस्टम थ्रूपुट है; पहले टोकन से पहले का इंतज़ार अलग नापा जाता है।

[vLLM](https://broadrouter.com/hi/glossary/vllm/)

vLLM, LLM inference और सर्विंग के लिए एक ओपन-सोर्स लाइब्रेरी है, जिसे पहले UC Berkeley की Sky Computing Lab में बनाया गया। यह PagedAttention से KV cache मेमोरी सँभालती है, आने वाले अनुरोधों को लगातार बैच करती है, कई quantization फ़ॉर्मैट सपोर्ट करती है और OpenAI-compatible HTTP सर्वर देती है।

## अक्सर पूछे जाने वाले सवाल

### mixture-of-experts मॉडल क्या होता है?

ऐसा मॉडल जिसकी लेयर में कई expert sub-network होते हैं, जिनमें से हर टोकन के लिए सिर्फ़ कुछ ही चलते हैं। Gemma 4 26B A4B में कुल 26B पैरामीटर हैं और हर टोकन पर लगभग 4B सक्रिय होते हैं, इसीलिए अपने आकार के हिसाब से इसे सर्व करना सस्ता है।

### यहाँ Uno adapter बाक़ी drafter से धीमा क्यों है?

पेपर इसे संरचनात्मक कारण बताता है: एक self-drafting साइकिल में पूरे मॉडल के दो forward pass लगते हैं, जबकि अलग drafter उनमें से एक को छोटे नेटवर्क से बदल देता है। इसलिए जब कोई समर्पित छोटा drafter मौजूद हो, तो आम तौर पर वही जीतता है।

### self-drafting कब फ़ायदेमंद होता है?

पेपर के अनुसार, लंबे कॉन्टेक्स्ट पर, जहाँ चौड़ा draft हर साइकिल में ज़्यादा टोकन पक्के करता है (लगभग 10,500 टोकन पर 1.089x बनाम 1.011x), और उन मॉडलों के लिए जिनका कोई छोटा drafter है ही नहीं।

### क्या BroadNet अपने Gemma 4 API के लिए यह adapter इस्तेमाल करता है?

BroadNet का मॉडल पेज कहता है कि उसका Gemma 4 26B build multi-token-prediction speculative decoding (k=2) के साथ सर्व होता है। Uno adapter एक रिसर्च artifact के रूप में प्रकाशित है; BroadNet यह नहीं कहता कि वह API ट्रैफ़िक इससे सर्व करता है।

### क्या मैं adapter डाउनलोड कर सकता हूँ?

हाँ। BroadNet इसे Hugging Face पर Broadnet/gemma-4-26B-A4B-uno-pilot-adapter के नाम से प्रकाशित करता है, और सर्विंग प्रोफ़ाइल व कंटेनर इमेज vllm-uno रिलीज़ v0.3.0 में हैं।

## आगे पढ़ें

-   [vLLM में Uno: BroadNet की सर्विंग स्टडी ने क्या मापा](https://broadrouter.com/hi/blog/uno-in-vllm-serving-study/)
-   [BroadNet का GPU हार्डवेयर और सर्विंग का तरीक़ा, BroadNet के शब्दों में](https://broadrouter.com/hi/blog/broadnet-gpu-fleet-and-serving/)
-   [BroadNet ने किन मॉडलों को परखकर ख़ारिज किया, और क्यों](https://broadrouter.com/hi/blog/models-broadnet-ruled-out/)
-   [1M-टोकन कॉन्टेक्स्ट विंडो कब फ़ायदेमंद है (और कब नहीं)](https://broadrouter.com/hi/blog/million-token-context-window-guide/)
-   [LLM API रिस्पॉन्स कैश करके लागत घटाएँ: Python में एक्ज़ैक्ट-मैच कैश](https://broadrouter.com/hi/blog/cache-llm-responses-cut-cost/)
-   [डॉक्यूमेंट AI वर्कफ़्लो में ह्यूमन रिव्यू को शामिल करें](https://broadrouter.com/hi/blog/document-review-queues/)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-uno-mixture-of-experts-gemma-4-study&utm_content=page-cta) ·

**स्रोत**

-   [Al Zubaidi, Self-drafting with Uno on a mixture of experts: serving and training an adapter for Gemma 4 26B A4B, Zenodo preprint v2.3, 2026-09-18 (रिकॉर्ड 2026-11-15 को लिया गया)](https://doi.org/10.5281/zenodo.22820511)
-   [BroadNet ब्लॉग, Uno for vLLM now runs mixture-of-experts models (17 सितंबर 2026; 2026-11-15 को लिया गया) (अंग्रेज़ी में)](https://www.broadnet.ai/blog/uno-mixture-of-experts)
-   [BroadNet Research: मुख्य निष्कर्ष (2026-11-15 को लिया गया) (अंग्रेज़ी में)](https://www.broadnet.ai/research)
-   [vllm-uno रिलीज़ v0.3.0 (2026-11-15 को लिया गया)](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0)
-   [BroadNet Gemma 4 VL 26B मॉडल पेज: सर्विंग कॉन्फ़िगरेशन (2026-11-15 को लिया गया) (अंग्रेज़ी में)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
