vLLM میں Uno، BroadNet کے تحقیقی شعبے کا ایک preprint ہے، جو 8 ستمبر 2026 کو Zenodo پر DOI 10.5281/zenodo.22652610 کے تحت شائع ہوا۔ یہ Uno کا native vLLM implementation بیان کرتا ہے، جو IFM کا تیار کردہ speculative-decoding طریقہ ہے، اور ناپتا ہے کہ یہ سادہ vLLM سے کتنا تیز سرو کرتا ہے۔ اس کے Zenodo ریکارڈ میں مصنف Mohammad Al Zubaidi درج ہیں۔
یہ صفحہ بتاتا ہے کہ پیپر کیا کہتا ہے، اس نے یہ کیسے ناپا، اور یہ آپ کو کیا بتاتا ہے اور کیا نہیں۔ اعداد BroadNet کے ہیں؛ ہم نے انہیں دہرا کر نہیں جانچا۔
Uno کس مسئلے کو حل کرتا ہے؟
زبان کا ماڈل عام طور پر ہر forward pass میں ایک ٹوکن بناتا ہے۔ speculative decoding آگے کے کئی ٹوکنز کا اندازہ لگا کر اور انہیں پورے ماڈل کے ایک pass میں جانچ کر اسے تیز کرتی ہے۔ زیادہ تر طریقے ایک الگ، چھوٹا draft ماڈل استعمال کرتے ہیں۔ Uno اس کے بجائے ماڈل پر ہی ایک ٹرین شدہ adapter لگاتا ہے، تاکہ ماڈل اپنے ٹوکن خود draft کرے اور پھر انہیں اپنے اصل weights سے verify کرے۔ عمومی تصور کے لیے speculative decoding دیکھیں۔
پیپر کا سوال عملی ہے: کیا رفتار کا یہ اضافہ ایک پروڈکشن سرونگ engine کے اندر، batching، caching اور ایک ساتھ کئی درخواستوں کے بیچ، برقرار رہتا ہے؟
BroadNet نے کیا بنایا؟
BroadNet کی بلاگ پوسٹ کریڈٹ کے بارے میں واضح ہے: طریقہ “Uno, developed by IFM and collaborators” (ترجمہ: IFM اور ساتھیوں کا تیار کردہ Uno) ہے، اور BroadNet کا حصہ “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (ترجمہ: native vLLM انضمام، وہ انجینئرنگ جو اس کے execution paths کو مل کر کام کرنے کے قابل بناتی ہے، اور سرونگ کی جانچ) ہے۔ abstract، execution کے حصے گنواتا ہے: conditional adapter routing، مکمل draft key/value state، asynchronous scheduling، CUDA graph replay، overlapping adapter computation اور seed-row reuse۔
کوڈ BroadNet کی vllm-uno ریپوزیٹری میں عوامی ہے، اور BroadNet نے اسے pull request 55947 کے طور پر upstream vLLM کو تجویز کیا ہے۔
اسے کیسے ناپا گیا؟
مرکزی ٹیسٹ کنٹرول شدہ ہے:
- ہارڈویئر اور ماڈل: ایک NVIDIA H100، bfloat16 میں Qwen3-8B، شائع شدہ Qwen3-8B Uno adapter کے ساتھ۔
- ورک لوڈ: آٹھ ریاضی پرامپٹس، بڑے batches بھرنے کے لیے دہرائے گئے، ہر ایک 512 ٹوکن تک بناتا ہے، prefix caching بند۔
- Baseline: اسی سیٹ اپ پر عام autoregressive vLLM (“سادہ vLLM”)۔
- Concurrency: 1، 8 اور 32 بیک وقت streams۔
ایک دوسرا، الگ موازنہ prefix caching آن کرتا ہے اور BroadNet کی منتخب سرونگ سیٹنگز استعمال کرتا ہے، تاکہ SGLang reference implementation سے موازنہ ہو سکے۔
اسٹڈی میں کیا ملا؟
| پیمائش | BroadNet کا بتایا ہوا نتیجہ |
|---|---|
| سادہ vLLM کے مقابلے میں تھروپٹ، 1 stream | 2.58x |
| سادہ vLLM کے مقابلے میں تھروپٹ، 8 streams | 2.20x |
| سادہ vLLM کے مقابلے میں تھروپٹ، 32 streams | 1.74x |
| SGLang reference implementation سے فرق | 1، 8 اور 32 streams پر 3% کے اندر |
| پروڈکشن سیٹنگز، 32 streams | 7,657 ٹوکن/s، SGLang کے 7,505 کے مقابلے میں (2.0% آگے) |
| warm first-token latency، vLLM کے اندر ablation | ایک کے بجائے دو API پروسیسز کے ساتھ 25% کم |
گنجائش کی منصوبہ بندی کے لیے اہم بات پہلے بلاک کی آخری قطار ہے: اسی GPU سے 32 بیک وقت streams پر فی سیکنڈ 74% زیادہ آؤٹ پٹ۔ BroadNet کا بلاگ اسے “the central payoff” (ترجمہ: مرکزی فائدہ) کہتا ہے، کیونکہ جو رفتار کا اضافہ لوڈ میں غائب ہو جائے وہ مشترکہ API کے لیے زیادہ کام کا نہیں۔
بعد کی ایک ریلیز (v0.2.0، vLLM کے Model Runner V2 پر) BroadNet کے بلاگ پر Blackwell پر 2.1 سے 2.4 گنا، Ampere پر 1.7 سے 1.9 گنا اور Hopper پر 2.6 گنا single-stream آؤٹ پٹ کے ساتھ بیان کی گئی ہے۔ یہ پیپر کے مرکزی جدول سے مختلف ہارڈویئر اور ورژنز ہیں، اسی لیے اعداد مختلف ہیں۔
حدیں کیا ہیں؟
- ایک ماڈل، ایک ورک لوڈ۔ کنٹرول شدہ نتیجہ ریاضی پرامپٹس پر Qwen3-8B کا ہے۔ کوڈ، چیٹ یا لمبی دستاویزات کم draft ٹوکن قبول کر سکتی ہیں۔
- لوڈ کے ساتھ فائدہ گھٹتا ہے۔ 2.58x سے 1.74x کا رجحان متوقع شکل ہے: جب GPU مصروف ہو تو drafting کے لیے بچا compute ختم ہو جاتا ہے۔
- ایک preprint۔ پیپر Zenodo پر جمع ہے، peer-review نہیں ہوا۔ اس کے ساتھ کے آرکائیو میں evidence inventory اور figure ڈیٹا ہے، جس سے دوسرے اسے جانچ سکتے ہیں۔
- خود رپورٹ کردہ۔ دونوں arms، BroadNet نے چلائے۔ reference implementation سے 3% کی مطابقت اس پر پیپر کی اپنی جانچ ہے۔
اگر آپ صرف API کال کرتے ہیں تو یہ کیوں اہم ہے؟
فی GPU تھروپٹ طے کرتا ہے کہ فراہم کنندہ کتنا چارج کر سکتا ہے اور لوڈ میں کتنی تیزی سے جواب دیتا ہے۔ BroadNet کا کیٹلاگ بتاتا ہے کہ وہ کوئی drafting طریقہ چننے سے پہلے اسے اصل concurrency پر ناپتا ہے، اور اس نے EAGLE3 کو تب مسترد کیا جب اس نے 32 بیک وقت درخواستوں پر 69% تھروپٹ کھویا۔ Gemma 4 26B پر فالو اپ اسٹڈی یہی طریقہ اس mixture-of-experts ماڈل پر لاگو کرتی ہے جسے BroadNet Gemma 4 VL 26B کے نام سے بیچتا ہے۔ یہ BroadNet کے وسیع تر سرونگ فیصلوں میں کیسے فٹ ہوتا ہے، اس کے لیے BroadNet کا GPU ہارڈویئر اور سرونگ کا طریقہ دیکھیں۔
اگر آپ اپنے vLLM سرورز چلاتے ہیں تو عملی سبق یہ ہے: کسی بھی drafting طریقے کو اس concurrency پر بینچ مارک کریں جس پر آپ واقعی چلاتے ہیں، ایک stream پر نہیں۔
