---
title: "LLM में mixture of experts (MoE) क्या है? | BroadRouter"
description: "MoE LLM हर टोकन को कुछ ही expert सब-नेटवर्क से गुज़ारता है, इसलिए मॉडल का सिर्फ़ एक हिस्सा चलता है। कुल बनाम active पैरामीटर, Gemma 4 और DeepSeek के उदाहरणों के साथ।"
url: https://broadrouter.com/hi/glossary/mixture-of-experts/
lang: hi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/mixture-of-experts/) (2026-11-14 को अपडेट किया गया).

# Mixture of experts (MoE)

अपडेट किया गया 2026-11-14

Mixture of experts (MoE) एक न्यूरल नेटवर्क डिज़ाइन है जिसमें एक layer में कई expert सब-नेटवर्क होते हैं और एक सीखा हुआ router हर टोकन को उनमें से सिर्फ़ कुछ के पास भेजता है। MoE लैंग्वेज मॉडल के कुल पैरामीटर बहुत होते हैं, लेकिन हर टोकन पर वह एक छोटा active हिस्सा ही इस्तेमाल करता है।

अन्य नाम: मिक्सचर ऑफ़ एक्सपर्ट्स, MoE मॉडल, active पैरामीटर, moe kya hai, mixture of experts kya hai, MoE, sparse MoE, mixture-of-experts model, sparse expert model, active parameters

Dense मॉडल हर टोकन के लिए हर weight चलाता है। Mixture-of-experts मॉडल सिर्फ़ वे कुछ experts चलाता है जिन्हें उसका router चुनता है।

## यह कैसे काम करता है

Shazeer और साथियों ने 2017 में sparsely-gated MoE layer पेश की: हज़ारों तक feed-forward सब-नेटवर्क, जिनमें से “a trainable gating network” (अनुवाद: एक ट्रेन होने वाला gating नेटवर्क) हर इनपुट के लिए “a sparse combination of these experts” (अनुवाद: इन experts का एक sparse मेल) चुनता है। आधुनिक ट्रांसफ़ॉर्मर में कुछ layers का feed-forward ब्लॉक experts का एक सेट बन जाता है। हर टोकन के लिए router experts को स्कोर देता है और टोकन को सबसे ऊपर के कुछ experts के पास भेजता है। कुछ डिज़ाइन एक shared expert जोड़ते हैं जिसे हर टोकन इस्तेमाल करता है।

दो मॉडल कार्ड आँकड़े दिखाते हैं:

| मॉडल | कुल पैरामीटर | प्रति टोकन active | Experts |
| --- | --- | --- | --- |
| Gemma 4 26B A4B (Google) | 25.2B | 3.8B | 128 में से 8 active, साथ में 1 shared |
| DeepSeek V4.1 Flash (DeepSeek) | 552B backbone | prefill में 8B, decode में 16B | 384 में से 6 routed, साथ में 1 shared |

Google का कार्ड कहता है कि 26B A4B मॉडल “runs almost as fast as a 4B-parameter model.” (अनुवाद: लगभग 4B पैरामीटर वाले मॉडल जितना तेज़ चलता है।)

## यह क्यों मायने रखता है

-   **प्रति टोकन रफ़्तार और कीमत** active पैरामीटर के हिसाब से चलती हैं, क्योंकि हर टोकन को उतना ही compute चाहिए। इसी तरह MoE मॉडल बड़ा होकर भी सर्व करने में सस्ता हो सकता है।
-   **मेमोरी** कुल पैरामीटर के हिसाब से चलती है। हर expert को GPU मेमोरी में रहना होता है, इसलिए MoE मॉडल को weights के लिए उतनी ही जगह चाहिए जितनी उसी कुल साइज़ के dense मॉडल को। [क्वांटाइज़ेशन](https://broadrouter.com/hi/glossary/quantization/) इन्हें समाने का आम तरीक़ा है।
-   **क्वालिटी** इनमें से किसी भी संख्या के साथ साफ़ तौर पर नहीं चलती। मॉडल की तुलना पैरामीटर गिनती पर नहीं, अपने टास्क पर करें।

## BroadNet Inference पर

BroadNet, BroadNet Gemma 4 VL 26B को मॉडल ID `broadnet/gemma-4-26b-a4b` से सर्व करता है और इसे Google के Gemma 4 पर आधारित बताता है। उसका मॉडल कैटलॉग प्रोडक्शन बिल्ड को AWQ 4-bit weights और multi-token prediction के साथ Gemma 4 26B A4B के रूप में सूचीबद्ध करता है। इसकी कीमत प्रति 1M टोकन $0.10 इनपुट और $0.22 आउटपुट है, और यही hourly key के पीछे का मॉडल है। देखें [Gemma 4 VL 26B](https://broadrouter.com/hi/models/gemma-4-vl-26b/)।

[DeepSeek V4.1 Flash](https://broadrouter.com/hi/models/deepseek-v4.1-flash/) BroadNet का 1,048,576 टोकन context वाला मॉडल है और फ़्लैट प्लान पर मिलने वाला इकलौता मॉडल। इसका MoE डिज़ाइन DeepSeek ने दर्ज किया है, BroadNet ने नहीं। एक श्रेणी के रूप में ओपन मॉडल की तुलना के लिए [ओपन-वेट मॉडल](https://broadrouter.com/hi/glossary/open-weight-model/) और [ओपन-वेट बनाम क्लोज़्ड मॉडल](https://broadrouter.com/hi/blog/open-weight-vs-closed-models/) देखें।

## अक्सर पूछे जाने वाले सवाल

### Gemma 4 26B A4B में A4B का क्या मतलब है?

Google का मॉडल कार्ड कहता है कि "A" का मतलब active पैरामीटर है। मॉडल में कुल 25.2B पैरामीटर हैं, लेकिन हर टोकन पर लगभग 3.8B ही active होते हैं।

### क्या DeepSeek V4.1 Flash एक mixture-of-experts मॉडल है?

हाँ। DeepSeek का मॉडल कार्ड इसे multimodal MoE मॉडल बताता है, जिसमें 552B backbone पैरामीटर हैं, हर MoE layer में 1 shared और 384 routed experts हैं, और हर टोकन पर 6 routed experts active होते हैं।

### क्या MoE मॉडल को कम मेमोरी चाहिए?

नहीं। सभी experts लोड होने चाहिए, क्योंकि कोई भी टोकन किसी भी expert के पास जा सकता है। MoE प्रति टोकन compute बचाता है, weights की मेमोरी नहीं।

## यह भी देखें

-   [ओपन-वेट मॉडल (open-weight model)](https://broadrouter.com/hi/glossary/open-weight-model/) (शब्द)
-   [क्वांटाइज़ेशन (quantization)](https://broadrouter.com/hi/glossary/quantization/) (शब्द)
-   [टोकन प्रति सेकंड (tokens per second, TPS)](https://broadrouter.com/hi/glossary/tokens-per-second/) (शब्द)
-   [KV cache (की-वैल्यू कैश)](https://broadrouter.com/hi/glossary/kv-cache/) (शब्द)
-   [GPU-घंटा (GPU-hour)](https://broadrouter.com/hi/glossary/gpu-hour/) (शब्द)
-   [BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/) (गाइड)
-   [बिज़नेस के लिए open-weight बनाम closed AI मॉडल: लागत, नियंत्रण, जोखिम](https://broadrouter.com/hi/blog/open-weight-vs-closed-models/) (लेख)
-   [कोडिंग एजेंट के लिए बेस्ट ओपन मॉडल: टूल, कॉन्टेक्स्ट, लागत से चुनें](https://broadrouter.com/hi/blog/best-open-model-for-coding-agents/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-mixture-of-experts&utm_content=page-cta) ·

**स्रोत**

-   [Shazeer और साथी, Outrageously Large Neural Networks, the Sparsely-Gated Mixture-of-Experts Layer, arXiv 1701.06538](https://arxiv.org/abs/1701.06538)
-   [Google, Gemma 4 26B A4B instruction-tuned मॉडल कार्ड](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [DeepSeek, DeepSeek-V4.1-Flash मॉडल कार्ड](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [BroadNet Inference API रेफ़रंस, मॉडल ID (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-mixture-of-experts&utm_content=sources)
-   [BroadNet मॉडल कैटलॉग (लैब माप, सितंबर 2026) (अंग्रेज़ी में)](https://www.broadnet.ai/inference/models)
