Letakkan jawapan di tengah prompt yang panjang dan banyak model lebih cenderung terlepasnya berbanding jika ia berada di awal atau akhir.
Cara ia berfungsi
Liu et al. (2023) menguji model pada dua tugas. Dalam menjawab soalan berbilang dokumen, model diberi soalan dan beberapa dokumen yang didapatkan semula, dan hanya satu daripadanya mengandungi jawapan. Dalam dapatan semula key-value, model perlu mencari satu nilai dalam senarai pasangan yang panjang. Penyelidik mengubah kedudukan item yang relevan.
Dapatan mereka: prestasi “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (Terjemahan BroadRouter: “selalunya paling tinggi apabila maklumat relevan muncul di awal atau akhir konteks input, dan merosot dengan ketara apabila model perlu mencapai maklumat relevan di tengah konteks panjang, walaupun bagi model yang dibina khusus untuk konteks panjang.”) Apabila diplot mengikut kedudukan, ketepatan membentuk lengkung U.
Maksud praktikalnya mudah. Tetingkap konteks yang panjang memberitahu anda berapa banyak yang diterima model, bukan sejauh mana sekata ia menggunakannya.
Mengapa ia penting
- Susunan RAG. Dalam retrieval-augmented generation, retriever menyusun petikan mengikut kedudukan. Jika anda meletakkan yang terbaik di tengah-tengah 20 petikan, kedudukan itu sia-sia. Letakkannya di awal, atau di awal dan akhir.
- Dokumen panjang. Bertanya tentang satu klausa di halaman 40 daripada 80 lebih sukar berbanding halaman 1. Arahkan model ke bahagian itu, atau ekstraknya dahulu.
- Ejen. Dalam sejarah ejen yang panjang, arahan awal dan giliran terkini mendapat perhatian; output alatan di pertengahan larian paling mungkin kurang digunakan.
Lost in the middle ialah sebahagian daripada kesan yang lebih luas dipanggil context rot, di mana ketepatan menurun disebabkan panjang dan gangguan, bukan kedudukan sahaja.
Di BroadNet Inference
DeepSeek V4.1 Flash dan GLM 5.3 BroadNet menerima sehingga 1,048,576 token bagi setiap permintaan. Ini menjadikan kedudukan lebih penting, bukan kurang, kerana bahagian tengahnya lebih panjang. Susun atur yang serasi dengan kesan kedudukan dan input cache:
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
Panduan konteks 1M token dan struktur prompt untuk caching menghuraikannya dengan lebih lanjut.