Dense ماڈل ہر ٹوکن کے لیے ہر weight چلاتا ہے۔ Mixture-of-experts ماڈل صرف وہ چند experts چلاتا ہے جنہیں اس کا router چنتا ہے۔
یہ کیسے کام کرتا ہے
Shazeer اور ساتھیوں نے 2017 میں sparsely-gated MoE layer متعارف کرائی: ہزاروں تک feed-forward ذیلی نیٹ ورکس، جن میں سے “a trainable gating network” (ترجمہ: ایک قابلِ تربیت gating نیٹ ورک) ہر ان پٹ کے لیے “a sparse combination of these experts” (ترجمہ: ان experts کا ایک sparse امتزاج) چنتا ہے۔ جدید ٹرانسفارمر میں کچھ layers کا feed-forward بلاک experts کا ایک سیٹ بن جاتا ہے۔ ہر ٹوکن کے لیے router experts کو اسکور دیتا ہے اور ٹوکن کو سب سے اوپر کے چند experts کے پاس بھیجتا ہے۔ کچھ ڈیزائن ایک shared expert شامل کرتے ہیں جسے ہر ٹوکن استعمال کرتا ہے۔
دو ماڈل کارڈز اعداد دکھاتے ہیں:
| ماڈل | کل پیرامیٹرز | فی ٹوکن active | Experts |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25.2B | 3.8B | 128 میں سے 8 active، ساتھ میں 1 shared |
| DeepSeek V4.1 Flash (DeepSeek) | 552B backbone | prefill میں 8B، decode میں 16B | 384 میں سے 6 routed، ساتھ میں 1 shared |
Google کا کارڈ کہتا ہے کہ 26B A4B ماڈل “runs almost as fast as a 4B-parameter model.” (ترجمہ: تقریباً 4B پیرامیٹرز والے ماڈل جتنا تیز چلتا ہے۔)
یہ کیوں اہم ہے
- فی ٹوکن رفتار اور قیمت active پیرامیٹرز کے مطابق چلتی ہیں، کیونکہ ہر ٹوکن کو اتنا ہی compute چاہیے۔ اسی طرح MoE ماڈل بڑا ہو کر بھی سرو کرنے میں سستا ہو سکتا ہے۔
- میموری کل پیرامیٹرز کے مطابق چلتی ہے۔ ہر expert کو GPU میموری میں رہنا ہوتا ہے، اس لیے MoE ماڈل کو weights کے لیے اتنی ہی جگہ چاہیے جتنی اسی کل سائز کے dense ماڈل کو۔ کوانٹائزیشن انہیں سمانے کا عام طریقہ ہے۔
- معیار ان میں سے کسی عدد کے ساتھ صاف طور پر نہیں چلتا۔ ماڈلز کا موازنہ پیرامیٹر گنتی پر نہیں، اپنے کام پر کریں۔
BroadNet Inference پر
BroadNet، BroadNet Gemma 4 VL 26B کو ماڈل ID broadnet/gemma-4-26b-a4b سے سرو کرتا ہے اور اسے Google کے Gemma 4 پر مبنی بتاتا ہے۔ اس کا ماڈل کیٹلاگ پروڈکشن بلڈ کو AWQ 4-bit weights اور multi-token prediction کے ساتھ Gemma 4 26B A4B کے طور پر درج کرتا ہے۔ اس کی قیمت فی 1M ٹوکنز $0.10 ان پٹ اور $0.22 آؤٹ پٹ ہے، اور یہی گھنٹے والی کلید کے پیچھے کا ماڈل ہے۔ دیکھیں Gemma 4 VL 26B۔
DeepSeek V4.1 Flash BroadNet کا 1,048,576 ٹوکن context والا ماڈل ہے اور فلیٹ پلانز پر دستیاب واحد ماڈل۔ اس کا MoE ڈیزائن DeepSeek نے درج کیا ہے، BroadNet نے نہیں۔ ایک زمرے کے طور پر اوپن ماڈلز کے موازنے کے لیے اوپن ویٹ ماڈلز اور اوپن ویٹ بمقابلہ کلوزڈ ماڈلز دیکھیں۔