---
title: "LLMs میں mixture of experts (MoE) کیا ہے؟ | BroadRouter"
description: "MoE LLM ہر ٹوکن کو چند expert ذیلی نیٹ ورکس سے گزارتا ہے، اس لیے ماڈل کا صرف ایک حصہ چلتا ہے۔ کل بمقابلہ active پیرامیٹرز، Gemma 4 اور DeepSeek کی مثالوں کے ساتھ۔"
url: https://broadrouter.com/ur/glossary/mixture-of-experts/
lang: ur
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/mixture-of-experts/) (اپ ڈیٹ: 2026-11-14).

# Mixture of experts (MoE)

اپ ڈیٹ 2026-11-14

Mixture of experts (MoE) ایک نیورل نیٹ ورک ڈیزائن ہے جس میں ایک layer میں کئی expert ذیلی نیٹ ورکس ہوتے ہیں اور ایک سیکھا ہوا router ہر ٹوکن کو ان میں سے صرف چند کے پاس بھیجتا ہے۔ MoE لینگویج ماڈل کے کل پیرامیٹرز بہت ہوتے ہیں، لیکن ہر ٹوکن پر ایک چھوٹا active حصہ ہی استعمال کرتا ہے۔

دوسرے نام: مکسچر آف ایکسپرٹس، MoE ماڈل، active پیرامیٹرز، moe kya hai، mixture of experts kya hai، MoE، sparse MoE، mixture-of-experts model، sparse expert model، active parameters

Dense ماڈل ہر ٹوکن کے لیے ہر weight چلاتا ہے۔ Mixture-of-experts ماڈل صرف وہ چند experts چلاتا ہے جنہیں اس کا router چنتا ہے۔

## یہ کیسے کام کرتا ہے

Shazeer اور ساتھیوں نے 2017 میں sparsely-gated MoE layer متعارف کرائی: ہزاروں تک feed-forward ذیلی نیٹ ورکس، جن میں سے “a trainable gating network” (ترجمہ: ایک قابلِ تربیت gating نیٹ ورک) ہر ان پٹ کے لیے “a sparse combination of these experts” (ترجمہ: ان experts کا ایک sparse امتزاج) چنتا ہے۔ جدید ٹرانسفارمر میں کچھ layers کا feed-forward بلاک experts کا ایک سیٹ بن جاتا ہے۔ ہر ٹوکن کے لیے router experts کو اسکور دیتا ہے اور ٹوکن کو سب سے اوپر کے چند experts کے پاس بھیجتا ہے۔ کچھ ڈیزائن ایک shared expert شامل کرتے ہیں جسے ہر ٹوکن استعمال کرتا ہے۔

دو ماڈل کارڈز اعداد دکھاتے ہیں:

| ماڈل | کل پیرامیٹرز | فی ٹوکن active | Experts |
| --- | --- | --- | --- |
| Gemma 4 26B A4B (Google) | 25.2B | 3.8B | 128 میں سے 8 active، ساتھ میں 1 shared |
| DeepSeek V4.1 Flash (DeepSeek) | 552B backbone | prefill میں 8B، decode میں 16B | 384 میں سے 6 routed، ساتھ میں 1 shared |

Google کا کارڈ کہتا ہے کہ 26B A4B ماڈل “runs almost as fast as a 4B-parameter model.” (ترجمہ: تقریباً 4B پیرامیٹرز والے ماڈل جتنا تیز چلتا ہے۔)

## یہ کیوں اہم ہے

-   **فی ٹوکن رفتار اور قیمت** active پیرامیٹرز کے مطابق چلتی ہیں، کیونکہ ہر ٹوکن کو اتنا ہی compute چاہیے۔ اسی طرح MoE ماڈل بڑا ہو کر بھی سرو کرنے میں سستا ہو سکتا ہے۔
-   **میموری** کل پیرامیٹرز کے مطابق چلتی ہے۔ ہر expert کو GPU میموری میں رہنا ہوتا ہے، اس لیے MoE ماڈل کو weights کے لیے اتنی ہی جگہ چاہیے جتنی اسی کل سائز کے dense ماڈل کو۔ [کوانٹائزیشن](https://broadrouter.com/ur/glossary/quantization/) انہیں سمانے کا عام طریقہ ہے۔
-   **معیار** ان میں سے کسی عدد کے ساتھ صاف طور پر نہیں چلتا۔ ماڈلز کا موازنہ پیرامیٹر گنتی پر نہیں، اپنے کام پر کریں۔

## BroadNet Inference پر

BroadNet، BroadNet Gemma 4 VL 26B کو ماڈل ID `broadnet/gemma-4-26b-a4b` سے سرو کرتا ہے اور اسے Google کے Gemma 4 پر مبنی بتاتا ہے۔ اس کا ماڈل کیٹلاگ پروڈکشن بلڈ کو AWQ 4-bit weights اور multi-token prediction کے ساتھ Gemma 4 26B A4B کے طور پر درج کرتا ہے۔ اس کی قیمت فی 1M ٹوکنز $0.10 ان پٹ اور $0.22 آؤٹ پٹ ہے، اور یہی گھنٹے والی کلید کے پیچھے کا ماڈل ہے۔ دیکھیں [Gemma 4 VL 26B](https://broadrouter.com/ur/models/gemma-4-vl-26b/)۔

[DeepSeek V4.1 Flash](https://broadrouter.com/ur/models/deepseek-v4.1-flash/) BroadNet کا 1,048,576 ٹوکن context والا ماڈل ہے اور فلیٹ پلانز پر دستیاب واحد ماڈل۔ اس کا MoE ڈیزائن DeepSeek نے درج کیا ہے، BroadNet نے نہیں۔ ایک زمرے کے طور پر اوپن ماڈلز کے موازنے کے لیے [اوپن ویٹ ماڈلز](https://broadrouter.com/ur/glossary/open-weight-model/) اور [اوپن ویٹ بمقابلہ کلوزڈ ماڈلز](https://broadrouter.com/ur/blog/open-weight-vs-closed-models/) دیکھیں۔

## عام سوالات

### Gemma 4 26B A4B میں A4B کا کیا مطلب ہے؟

Google کا ماڈل کارڈ کہتا ہے کہ "A" کا مطلب active پیرامیٹرز ہے۔ ماڈل میں کل 25.2B پیرامیٹرز ہیں، لیکن ہر ٹوکن پر تقریباً 3.8B ہی active ہوتے ہیں۔

### کیا DeepSeek V4.1 Flash ایک mixture-of-experts ماڈل ہے؟

ہاں۔ DeepSeek کا ماڈل کارڈ اسے multimodal MoE ماڈل کہتا ہے، جس میں 552B backbone پیرامیٹرز ہیں، ہر MoE layer میں 1 shared اور 384 routed experts ہیں، اور ہر ٹوکن پر 6 routed experts active ہوتے ہیں۔

### کیا MoE ماڈل کو کم میموری چاہیے؟

نہیں۔ تمام experts لوڈ ہونے چاہئیں، کیونکہ کوئی بھی ٹوکن کسی بھی expert کے پاس جا سکتا ہے۔ MoE فی ٹوکن compute بچاتا ہے، weights کی میموری نہیں۔

## یہ بھی دیکھیں

-   [اوپن ویٹ ماڈل (open-weight model)](https://broadrouter.com/ur/glossary/open-weight-model/) (اصطلاح)
-   [کوانٹائزیشن (quantization)](https://broadrouter.com/ur/glossary/quantization/) (اصطلاح)
-   [ٹوکن فی سیکنڈ (tokens per second، TPS)](https://broadrouter.com/ur/glossary/tokens-per-second/) (اصطلاح)
-   [KV cache (کی ویلیو کیش)](https://broadrouter.com/ur/glossary/kv-cache/) (اصطلاح)
-   [GPU گھنٹہ (GPU-hour)](https://broadrouter.com/ur/glossary/gpu-hour/) (اصطلاح)
-   [BroadNet Inference کے ساتھ OpenAI Python SDK استعمال کریں](https://broadrouter.com/ur/guides/openai-python-sdk/) (گائیڈ)
-   [کاروبار کے لیے open-weight بمقابلہ closed AI ماڈلز: لاگت، کنٹرول، خطرہ](https://broadrouter.com/ur/blog/open-weight-vs-closed-models/) (مضمون)
-   [کوڈنگ ایجنٹس کے لیے بہترین اوپن ماڈل: ٹولز، کانٹیکسٹ اور لاگت](https://broadrouter.com/ur/blog/best-open-model-for-coding-agents/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-mixture-of-experts&utm_content=page-cta) ·

**ذرائع**

-   [Shazeer اور ساتھی، Outrageously Large Neural Networks, the Sparsely-Gated Mixture-of-Experts Layer، arXiv 1701.06538](https://arxiv.org/abs/1701.06538)
-   [Google، Gemma 4 26B A4B instruction-tuned ماڈل کارڈ](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [DeepSeek، DeepSeek-V4.1-Flash ماڈل کارڈ](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [BroadNet Inference API ریفرنس، ماڈل IDs (انگریزی میں)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-mixture-of-experts&utm_content=sources)
-   [BroadNet ماڈل کیٹلاگ (لیب پیمائشیں، ستمبر 2026) (انگریزی میں)](https://www.broadnet.ai/inference/models)
