کانٹیکسٹ ونڈوز چند ہزار ٹوکن سے بڑھ کر دس لاکھ سے زیادہ ہو گئی ہیں۔ BroadNet Inference پر DeepSeek V4.1 Flash اور GLM 5.3 فی درخواست 1,048,576 ٹوکن قبول کرتے ہیں، پرامپٹ اور جواب ملا کر۔ اس سے آپ کے بنانے کا طریقہ بدل سکتا ہے، لیکن اس سے ہر پرامپٹ بہتر نہیں ہو جاتا۔
دس لاکھ ٹوکن میں کیا سماتا ہے؟
موٹے اندازے کے لیے: ہمارے ٹوکنائزر کارکردگی ڈیٹاسیٹ میں انگریزی نثر کے 1,000 الفاظ پانچ ٹوکنائزرز کے اوسط سے تقریباً 1,290 ٹوکن بنے، اس لیے دس لاکھ ٹوکن موٹے طور پر سادہ نثر کے 810,000 الفاظ ہیں:
| مواد | موٹے طور پر |
|---|---|
| درمیانے سائز کا کوڈ بیس (دسیوں ہزار لائنیں) | سما جاتا ہے، جگہ بچتی ہے |
| شیڈولز کے ساتھ کئی لمبے معاہدے | سما جاتے ہیں |
| ایک دن کی میٹنگز کی ٹرانسکرپٹس | سما جاتی ہیں |
| ڈیپینڈنسیز کے ساتھ بڑا monorepo | اکثر نہیں؛ ڈائریکٹریز چنیں |
ٹوکن کی گنتی زبان اور مواد پر منحصر ہے۔ کوڈ اور عربی متن اکثر انگریزی نثر سے فی حرف زیادہ ٹوکن لیتے ہیں۔ اندازہ لگانے کے بجائے اصل درخواست کے usage بلاک سے ناپیں، یا کانٹیکسٹ ونڈو کیلکولیٹر میں ایک نمونہ دیکھیں۔
BroadNet کے کن ماڈلز میں 1M ٹوکن کانٹیکسٹ ونڈو ہے؟
| ماڈل | کانٹیکسٹ ونڈو | ان پٹ | آؤٹ پٹ | تصاویر |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | $0.175 | $0.52 | ہاں |
| GLM 5.3 | 1,048,576 | $0.78 | $3.46 | نہیں |
| Qwen3.8 27B | 262,144 | $0.175 | $2.17 | ہاں |
| BroadNet Gemma 4 VL 26B | 32,768 | $0.10 | $0.22 | ہاں |
قیمتیں فی 1M ٹوکن ہیں۔ GLM 5.3 اسی 1M ونڈو پر ٹول کالنگ اور اسٹرکچرڈ آؤٹ پٹ بھی دیتا ہے۔
1M ٹوکن ونڈو کب فائدہ مند ہے؟
- کئی فائلوں میں پھیلا استدلال۔ ”یہ ٹیسٹ کیوں ناکام ہوتا ہے؟“ اکثر ایسی پانچ فائلوں پر منحصر ہوتا ہے جنہیں کوئی ایک ساتھ بازیافت کرنے کا نہیں سوچے گا۔
- پوری دستاویز کا جائزہ۔ شق 4 اور شیڈول B کے درمیان ٹکراؤ ڈھونڈنے کے لیے دونوں کا سامنے ہونا ضروری ہے۔
- ایک بار کا تجزیہ۔ جو سوال آپ ایک ہی بار پوچھیں گے، اس کے لیے بازیافت کا انڈیکس بنانے میں جتنی محنت لگتی ہے اتنی بچتی نہیں۔
- ایجنٹس۔ جو ذیلی ایجنٹ پورا ماڈیول پڑھ سکتا ہے، وہ کم غلط اندازے لگاتا ہے۔ دیکھیں متوازی ایجنٹس چلانا۔
بازیافت کب اب بھی بہتر انتخاب ہے؟
بازیافت تب بہتر ہے جب کسی بھی ونڈو سے کہیں بڑی لائبریری پر بہت سی چھوٹی تلاشیں ہوں، مواد ہر منٹ بدلتا ہو، اور تیز انٹرایکٹو جواب چاہییں جہاں پہلے بہت بڑا پرامپٹ پڑھنے سے تاخیر بڑھتی ہے۔ بہت سے پروڈکشن سسٹم دونوں کرتے ہیں: سب سے متعلقہ 200,000 ٹوکن بازیافت کرتے ہیں، پھر لانگ کانٹیکسٹ ماڈل کو ان سب پر استدلال کرنے دیتے ہیں۔ فی کوئری لاگت، لیٹنسی اور ریکال کو آمنے سامنے رکھ کر پورا فیصلہ لانگ کانٹیکسٹ بمقابلہ RAG میں ہے۔
کیا ماڈل واقعی پوری ونڈو استعمال کرتا ہے؟
یکساں نہیں۔ اس پر تحقیق متفق ہے:
- Lost in the Middle مقالے (Liu et al.) نے پایا کہ کارکردگی “is often highest when relevant information occurs at the beginning or end of the input context” (ترجمہ: اکثر تب سب سے زیادہ ہوتی ہے جب متعلقہ معلومات ان پٹ کانٹیکسٹ کے شروع یا آخر میں ہوں)۔
- Chroma کی Context Rot رپورٹ نے 18 ماڈلز ٹیسٹ کیے اور پایا کہ “performance grows increasingly unreliable as input length grows” (ترجمہ: ان پٹ کی لمبائی بڑھنے کے ساتھ کارکردگی مسلسل کم قابل اعتماد ہوتی جاتی ہے)، سادہ کاموں پر بھی۔
ان مطالعات نے BroadNet پر ماڈلز ٹیسٹ نہیں کیے، اس لیے انہیں پیمائش نہیں، انتباہ سمجھیں۔ عملی اصول: دس لاکھ ٹوکن قبول کرنے والی ونڈو کا مطلب یہ نہیں کہ ہر ٹوکن پر برابر توجہ جاتی ہے۔ سب سے اہم مواد شروع یا آخر کے قریب رکھیں، اور اپنی دستاویزات پر ریکال ٹیسٹ کریں۔
دس لاکھ ٹوکن کے پرامپٹ کی لاگت کیا ہے؟
استعمال کے مطابق ادائیگی والی کلید پر DeepSeek V4.1 Flash فی 1M ان پٹ ٹوکن $0.175 اور فی 1M کیش شدہ ان پٹ ٹوکن $0.0055 بل کرتا ہے۔ پورا دس لاکھ ٹوکن کا پرامپٹ پہلی بار تقریباً $0.175 پڑتا ہے، اور پری فکس کیش ہونے پر دہرائی جانے والی کالز پر بہت کم۔ اپنی کیش ریٹ کیسے بڑھائیں۔
پرامپٹ کیشنگ کیلکولیٹر دکھاتا ہے کہ آپ کے پرامپٹ سائز پر کیش ہٹ کتنا بچاتا ہے۔ ایک حل شدہ مثال: ایک ہی 800,000 ٹوکن معاہدوں کے سیٹ پر دس سوال۔ کیشنگ کے بغیر یہ $0.175 فی 1M پر 8M ٹوکن ہے۔ اگر دستاویزات پہلے آئیں اور ایک جیسی رہیں تو پہلی کال 800,000 نئے ٹوکن پڑھتی ہے اور اگلی نو ان میں سے زیادہ تر $0.0055 فی 1M پر کیش سے پڑھ سکتی ہیں۔ صرف سوال اور جواب بدلتے ہیں۔
لامحدود پلان پر پرامپٹ کا سائز بل نہیں بدلتا: Full Moon فی سیشن $60 ماہانہ ہے، بغیر ٹوکن میٹر کے۔ اسی لیے لانگ کانٹیکسٹ ایجنٹس فی ٹوکن بلنگ کے بجائے مقررہ قیمت والا پلان چننے کی ایک عام وجہ ہیں۔
جواب کے لیے کتنی جگہ چھوڑنی چاہیے؟
ونڈو میں پرامپٹ اور آؤٹ پٹ دونوں آتے ہیں، اور ریزننگ ماڈلز پر آؤٹ پٹ میں تھنکنگ شامل ہے۔ اگر آپ 1,040,000 ٹوکن کا پرامپٹ بھیجتے ہیں تو ریزننگ اور جواب کے لیے صرف تقریباً 8,000 بچتے ہیں۔ مارجن رکھیں، max_tokens واضح طور پر سیٹ کریں، اور پڑھیں ریزننگ ماڈلز خالی جواب کیوں لوٹا سکتے ہیں۔
1M ٹوکن پرامپٹ کے لیے کوڈ بیس کیسے تیار کریں
- جو ماڈل کو نہیں چاہیے اسے باہر رکھیں۔ لاک فائلیں، بلڈ آؤٹ پٹ، vendored ڈیپینڈنسیز، تصاویر اور جنریٹ کیا گیا کوڈ ٹوکن لیتے ہیں اور شور بڑھاتے ہیں۔
- بھیجنے سے پہلے گنیں۔ ایک چھوٹا نمونہ بھیجیں، usage سے
prompt_tokensپڑھیں، اور اسی تناسب سے بڑھائیں۔ - استحکام کی ترتیب میں رکھیں۔ کم بدلنے والی فائلیں پہلے، جن فائلوں پر کام چل رہا ہے وہ آخر میں، اور سوال بالکل آخر میں۔ اس سے پری فکس کیش کے قابل رہتا ہے۔
- ہر فائل پر لیبل لگائیں۔ فائلوں کو
=== path/to/file.py ===جیسے واضح نشانات میں لپیٹیں تاکہ ماڈل ان کا حوالہ دے سکے۔ - حوالے مانگیں۔ ”جس لائن پر آپ انحصار کرتے ہیں اسے نقل کریں“ بہت بڑے ان پٹ پر پُراعتماد غلطیاں کم کرتا ہے۔
- ناپیں۔ ہر درخواست پر پرامپٹ ٹوکن، کیش شدہ ٹوکن اور پہلے ٹوکن تک کا وقت لاگ کریں۔ اسٹریمنگ پہلا ٹوکن آتے ہی دکھا دیتی ہے۔
BroadNet Inference کہاں فٹ ہوتا ہے
اس کے دو چیٹ ماڈلز فی درخواست 1,048,576 ٹوکن لیتے ہیں، اور BroadNet آپ کا کانٹیکسٹ نہیں کاٹتا۔ فی ٹوکن کلید پر کیشنگ دہرائے جانے والے لمبے پرامپٹس کو قابل برداشت رکھتی ہے؛ پلان سیشن پر پرامپٹ کا سائز بل پر اثر نہیں ڈالتا۔ اگر آپ کا کارپس دس لاکھ ٹوکن سے کہیں بڑا ہے یا ہر منٹ بدلتا ہے تو آپ کو اب بھی بازیافت چاہیے، اور کوئی بھی ونڈو سائز اسے نہیں بدلتا۔

