Taruh jawabannya di tengah prompt yang panjang, dan banyak model lebih mungkin melewatkannya dibanding jika jawaban itu ada di awal atau akhir.
Cara kerjanya
Liu dkk. (2023) menguji model pada dua tugas. Pada question answering multi-dokumen, model mendapat satu pertanyaan dan beberapa dokumen hasil retrieval, hanya satu yang berisi jawaban. Pada key-value retrieval, model harus menemukan satu value dalam daftar pasangan yang panjang. Para peneliti mengubah-ubah posisi item yang relevan.
Temuan mereka: performa “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (terjemahan: sering paling tinggi ketika informasi relevan muncul di awal atau akhir konteks input, dan turun signifikan ketika model harus mengakses informasi relevan di tengah konteks panjang, bahkan untuk model yang secara eksplisit dirancang untuk konteks panjang.) Jika diplot menurut posisi, akurasinya membentuk huruf U.
Kesimpulan praktisnya sederhana. Context window yang panjang memberi tahu seberapa banyak yang diterima model, bukan seberapa merata model memakainya.
Kenapa ini penting
- Urutan RAG. Dalam retrieval-augmented generation, retriever memeringkat passage. Jika Anda menaruh yang terbaik di tengah 20 passage, peringkatnya jadi sia-sia. Taruh di awal, atau di awal dan akhir.
- Dokumen panjang. Bertanya tentang klausul di halaman 40 dari 80 lebih sulit daripada tentang halaman 1. Arahkan model ke bagiannya, atau ekstrak bagian itu terlebih dahulu.
- Agen. Dalam riwayat agen yang panjang, instruksi awal dan giliran terakhir mendapat perhatian; output tool di tengah jalan adalah bagian yang paling mungkin kurang dimanfaatkan.
Lost in the middle adalah satu bagian dari efek yang lebih luas bernama context rot, di mana akurasi turun karena panjang dan pengalih perhatian, bukan hanya posisi.
Di BroadNet Inference
DeepSeek V4.1 Flash dan GLM 5.3 di BroadNet menerima hingga 1.048.576 token per request. Ini membuat posisi makin penting, bukan sebaliknya, karena bagian tengahnya makin banyak. Tata letak yang cocok dengan efek posisi sekaligus input cache:
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
Panduan konteks 1M token dan struktur prompt untuk caching membahasnya lebih jauh.