BroadRouter

Gemma 4 26B پر Uno: BroadNet کی mixture-of-experts اسٹڈی

BroadNet Inference ٹیم · 3 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

BroadNet کا ستمبر 2026 کا preprint (DOI 10.5281/zenodo.22820511) mixture-of-experts ماڈل Gemma 4 26B A4B کے لیے پہلا Uno adapter ٹرین کرتا ہے، جسے 4-bit پر سرو کیا گیا۔ 72 پرامپٹس والے پروڈکشن ورک لوڈ پر adapter سادہ ڈیکوڈنگ سے 1.166 گنا تیز ہے، دو الگ drafters (1.474 اور 1.553) سے پیچھے، لیکن تقریباً 10,500 ٹوکن کانٹیکسٹ پر پروڈکشن drafter سے آگے۔

BroadNet کا دوسرا Uno preprint پہلی بار self-drafting کو ایک mixture-of-experts ماڈل پر لاگو کرتا ہے۔ 18 ستمبر 2026 کو Zenodo پر DOI 10.5281/zenodo.22820511 کے تحت شائع ہونے والا یہ پیپر Gemma 4 26B A4B کو 4-bit پر سرو کرتا ہے اور اس کے لیے ایک Uno adapter ٹرین کرتا ہے۔ ہدف وہی بنیادی ماڈل ہے جو BroadNet Inference پر BroadNet Gemma 4 VL 26B کا ہے۔

یہ vLLM میں Uno کی سرونگ اسٹڈی کے بعد آیا ہے، جس میں ایک dense 8B ماڈل ٹیسٹ کیا گیا تھا۔ نیچے کے اعداد BroadNet کے ہیں؛ ہم نے انہیں دہرا کر نہیں جانچا۔

سوال کیا تھا؟

speculative decoding کئی ٹوکنز کا draft بناتی ہے اور انہیں ایک pass میں verify کرتی ہے۔ mixture-of-experts ماڈل پر ایک اضافی فکر ہے: draft کی قطاریں مختلف experts تک route ہو سکتی ہیں، اس لیے چار ٹوکنز کا draft بنانے میں ایک ٹوکن بنانے سے کہیں زیادہ expert weights پڑھنے پڑ سکتے ہیں۔ پیپر پوچھتا ہے کہ کیا یہ “expert fan-out” self-drafting کو بہت مہنگا بنا دیتا ہے، اور self-drafting کب الگ drafter سے بہتر ہوتا ہے۔

BroadNet نے اسے کیسے ٹیسٹ کیا؟

پیپر کے abstract اور BroadNet کی methods والی سطر کے مطابق:

  • ماڈل: Gemma 4 26B A4B، ہر ٹوکن پر تقریباً 4B پیرامیٹرز فعال، 4-bit weights کے ساتھ۔
  • ہارڈویئر: 24 GB درجے کے GPUs، ایک وقت میں ایک sequence۔
  • ورک لوڈ: BroadNet کی پروڈکشن ٹریفک سے 72 پرامپٹس؛ ہر رفتار کے اضافے کو اسی سیشن میں سادہ ڈیکوڈنگ والے رن سے تقسیم کیا گیا۔
  • لمبا کانٹیکسٹ: تقریباً 10,500 ٹوکن والے پانچ پرامپٹس کا الگ سیٹ۔
  • Adapter: rank 16، 965 قطاروں پر اسی 4-bit checkpoint کے ذریعے ٹرین کیا گیا جس پر وہ سرو ہوتا ہے، ایک 24 GB GPU پر، بغیر کسی full-precision weights کے۔

کیا نتائج نکلے؟

Gemma 4 26B A4B کو کیسے ڈیکوڈ کیا گیا سادہ ڈیکوڈنگ کے مقابلے میں رفتار کا اضافہ
سادہ ڈیکوڈنگ 1.000
Uno pilot adapter، width 4 1.166
Multi-token-prediction drafter، width 2 1.474
Block drafter، width 8 1.553
تقریباً 10,500 ٹوکن کانٹیکسٹ پر Uno 1.089 (MTP drafter: 1.011)

BroadNet کے بتائے دوسرے نتائج:

  • ٹریننگ سے فائدہ ہوا۔ 1,500 updates میں قبول شدہ حصہ 42.4% سے 48.9% ہوا، اور 2,000 قطاروں والے بڑے corpus نے، جسے اسی recipe پر ٹرین کیا گیا، matched anchor run کے مقابلے میں ہر verify step میں 0.49 زیادہ draft ٹوکن قبول کروائے۔
  • Expert fan-out حقیقی ہے، مگر سستا۔ چار draft قطاروں نے 22 الگ experts کو چھوا جبکہ ایک قطار نے 8 کو، پھر بھی قطاروں سے متعلق پوری لاگت تقریباً 2.4 steps کی سائیکل میں 0.53 steps تک محدود رہی۔ BroadNet کا نتیجہ ہے کہ اس درجے کے ہارڈویئر پر routing کی لاگت “worth under a fifth of a cycle” (ترجمہ: ایک سائیکل کے پانچویں حصے سے کم) ہے۔
  • Lossless۔ BroadNet نے ایک ایسے پروفائل کے لیے جانچ بنائی جس کا سادہ آؤٹ پٹ مختلف سیشنز میں خود کو نہیں دہراتا، اور Uno کو “as close to plain as plain is to itself” (ترجمہ: سادہ ڈیکوڈنگ کے اتنا ہی قریب جتنی سادہ ڈیکوڈنگ خود سے ہے) بتاتا ہے۔
  • پانچ زبانیں۔ پیپر پانچ زبانوں میں اس adapter کی قبولیت کی وہ پیمائش دیتا ہے جسے وہ پہلی پیمائش کہتا ہے۔

عملی طور پر اس کا کیا مطلب ہے؟

پیپر کا اپنا اصول سیدھا ہے: اگر آپ کے ماڈل کے لیے اچھا چھوٹا drafter موجود ہے تو اسے استعمال کریں؛ self-drafting لمبے کانٹیکسٹ پر اور ان ماڈلز پر اپنی جگہ بناتا ہے جن کا کوئی drafter نہیں۔ یہ BroadNet کے اپنے بتائے سیٹ اپ سے میل کھاتا ہے: اس کا کیٹلاگ Gemma 4 26B کو پروڈکشن میں multi-token-prediction drafter (k=2) کے ساتھ دکھاتا ہے، “90%+ acceptance on structured prompts” (ترجمہ: structured پرامپٹس پر 90%+ قبولیت) کے ساتھ۔

پروڈکشن میں drafter کتنا اضافہ کرتا ہے؟ BroadNet کے کیٹلاگ کے مطابق RTX 3090 پر multi-token prediction نے 48.8% اضافہ کیا، اور اس کا Gemma 4 VL 26B صفحہ speculative decoding آن ہونے پر ایک stream پر تقریباً 136 ٹوکن فی سیکنڈ بتاتا ہے۔ دونوں BroadNet کی اپنی پیمائشیں ہیں، اس سرونگ کنفیگریشن پر جو اس کا ماڈل صفحہ بیان کرتا ہے، اس لیے API سے آپ کی رفتار لوڈ پر اور آپ کے پرامپٹ اور جواب کی لمبائی پر بھی منحصر ہے۔

API خریدنے والوں کے لیے کارآمد حصہ adapter نہیں، طریقہ ہے۔ BroadNet کہتا ہے کہ وہ جو بھی ماڈل سرو کرتا ہے، وہ گاہک تک پہنچنے سے پہلے اسی حساب سے گزرتا ہے: ایک draft سائیکل کی لاگت ناپو، پھر وہ drafter چنو جو اصل ورک لوڈ پر جیتتا ہے۔ اسی نظم و ضبط کی وجہ سے اس نے saturated سرونگ کے لیے EAGLE3 کو مسترد کیا۔

حدیں کیا ہیں؟

  • صرف single-stream۔ ایک وقت میں ایک sequence، ہر arm کا ایک رن۔ batch سرونگ کا رویہ مختلف ہوتا ہے، جیسا dense اسٹڈی نے دکھایا۔
  • ایک ماڈل۔ نتائج 24 GB درجے کے کارڈز پر 4-bit والے Gemma 4 26B A4B کے ہیں۔
  • ایک preprint۔ Zenodo پر ورژن 2.3، peer-review نہیں ہوا، ساتھ میں ایک evidence آرکائیو منسلک ہے۔

vllm-uno کی ریلیز v0.3.0 میں سرونگ پروفائل، کنٹینر امیج اور validation ریکارڈ ہیں، تاکہ اعداد جانچے جا سکیں۔ سرو کیے گئے ماڈل کو خود آزمانے کے لیے BroadNet کا براؤزر playground بغیر اکاؤنٹ کے Gemma 4 چلاتا ہے۔

عام سوالات

mixture-of-experts ماڈل کیا ہوتا ہے؟

ایسا ماڈل جس کی لیئرز میں کئی expert sub-networks ہوتے ہیں، جن میں سے ہر ٹوکن کے لیے صرف چند چلتے ہیں۔ Gemma 4 26B A4B میں کل 26B پیرامیٹرز ہیں اور ہر ٹوکن پر تقریباً 4B فعال ہوتے ہیں، اسی لیے اپنے سائز کے لحاظ سے اسے سرو کرنا سستا ہے۔

یہاں Uno adapter باقی drafters سے سست کیوں ہے؟

پیپر اسے ساختی وجہ بتاتا ہے: ایک self-drafting سائیکل میں پورے ماڈل کے دو forward passes لگتے ہیں، جبکہ الگ drafter ان میں سے ایک کو چھوٹے نیٹ ورک سے بدل دیتا ہے۔ اس لیے جب کوئی مخصوص چھوٹا drafter موجود ہو تو عام طور پر وہی جیتتا ہے۔

self-drafting کب فائدہ دیتا ہے؟

پیپر کے مطابق لمبے کانٹیکسٹ پر، جہاں چوڑا draft ہر سائیکل میں زیادہ ٹوکن پکے کرتا ہے (تقریباً 10,500 ٹوکن پر 1.089x بمقابلہ 1.011x)، اور ان ماڈلز کے لیے جن کا کوئی چھوٹا drafter ہے ہی نہیں۔

کیا BroadNet اپنے Gemma 4 API کے لیے یہ adapter استعمال کرتا ہے؟

BroadNet کا ماڈل صفحہ کہتا ہے کہ اس کا Gemma 4 26B build، multi-token-prediction speculative decoding (k=2) کے ساتھ سرو ہوتا ہے۔ Uno adapter ایک تحقیقی artifact کے طور پر شائع کیا گیا ہے؛ BroadNet یہ نہیں کہتا کہ وہ API ٹریفک اس سے سرو کرتا ہے۔

کیا میں adapter ڈاؤن لوڈ کر سکتا ہوں؟

جی ہاں۔ BroadNet اسے Hugging Face پر Broadnet/gemma-4-26B-A4B-uno-pilot-adapter کے نام سے شائع کرتا ہے، اور سرونگ پروفائل اور کنٹینر امیج vllm-uno ریلیز v0.3.0 میں ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں