لمبے پرامپٹ کے درمیان میں جواب رکھ دیں تو کئی ماڈلز اسے شروع یا آخر میں رکھے جواب کے مقابلے میں زیادہ چوکتے ہیں۔
یہ کیسے کام کرتا ہے
Liu اور ساتھیوں (2023) نے ماڈلز کو دو کاموں پر پرکھا۔ multi-document question answering میں ماڈل کو ایک سوال اور کئی نکالی گئی دستاویزات ملیں، جن میں سے صرف ایک میں جواب تھا۔ key-value retrieval میں اسے جوڑوں کی لمبی فہرست میں ایک value ڈھونڈنی تھی۔ محققین نے بدل بدل کر دیکھا کہ متعلقہ چیز کہاں رکھی ہے۔
ان کا نتیجہ: کارکردگی “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (ترجمہ: اکثر تب سب سے بہتر ہوتی ہے جب متعلقہ معلومات ان پٹ context کے شروع یا آخر میں ہو، اور نمایاں طور پر گر جاتی ہے جب ماڈلز کو لمبے context کے درمیان کی معلومات تک پہنچنا ہو، واضح طور پر لمبے context کے لیے بنے ماڈلز میں بھی۔) position کے لحاظ سے پلاٹ کریں تو درستی U کی شکل بناتی ہے۔
عملی مطلب سیدھا ہے۔ لمبی context window بتاتی ہے کہ ماڈل کتنا لیتا ہے، یہ نہیں کہ وہ اسے کتنی برابری سے استعمال کرتا ہے۔
یہ کیوں اہم ہے
- RAG میں ترتیب. Retrieval-augmented generation میں retriever passages کو رینک کرتا ہے۔ اگر آپ سب سے اچھے کو 20 کے درمیان رکھ دیں تو رینکنگ ضائع ہو گئی۔ اسے پہلے رکھیں، یا پہلے اور آخر دونوں میں۔
- لمبی دستاویزات. 80 صفحات میں سے صفحہ 40 کی کسی شق کے بارے میں پوچھنا صفحہ 1 کے بارے میں پوچھنے سے مشکل ہے۔ ماڈل کو سیکشن کی طرف اشارہ کریں، یا پہلے اسے نکال لیں۔
- Agents. کسی لمبی agent ہسٹری میں ابتدائی ہدایات اور آخری ٹرن پر توجہ جاتی ہے؛ رن کے درمیان کا ٹول آؤٹ پٹ وہ حصہ ہے جس کے کم استعمال ہونے کا سب سے زیادہ امکان ہے۔
Lost in the middle ایک وسیع اثر، context rot، کا ایک حصہ ہے، جس میں درستی صرف position سے نہیں بلکہ لمبائی اور توجہ ہٹانے والی چیزوں سے بھی گرتی ہے۔
BroadNet Inference پر
BroadNet کے DeepSeek V4.1 Flash اور GLM 5.3 فی درخواست 1,048,576 ٹوکنز تک لیتے ہیں۔ اس سے position کی اہمیت کم نہیں، زیادہ ہوتی ہے، کیونکہ درمیان کا حصہ اور بڑا ہو جاتا ہے۔ ایک لے آؤٹ جو position کے اثرات اور cached input دونوں کے ساتھ کام کرتا ہے:
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
1M ٹوکن context گائیڈ اور کیشنگ کے لیے پرامپٹ کا ڈھانچہ اس سے آگے جاتے ہیں۔