BroadRouter

Lost in the middle (ortada kaybolma)

Güncellendi

Lost in the middle (ortada kaybolma), dil modellerinin ilgili bilgiyi uzun bir girdinin başında veya sonunda olduğunda en iyi, ortasında olduğunda ise en kötü kullanma eğilimidir. Adını Liu vd.'nin 2023 tarihli çalışması koymuştur.

Diğer adları: ortada kaybolma, ortada kaybolma etkisi, uzun bağlam konum yanlılığı, bağlamın ortası sorunu, lost in the middle, lost-in-the-middle effect, middle-of-context problem, long-context position bias, U-shaped context performance

Cevabı uzun bir istemin ortasına koyun; birçok model onu, başta veya sonda olduğuna göre daha büyük olasılıkla kaçırır.

Nasıl çalışır

Liu vd. (2023) modelleri iki görevde test etti. Çok belgeli soru yanıtlamada model bir soru ve yalnızca biri yanıtı içeren birkaç getirilmiş belge aldı. Anahtar-değer getirmede uzun bir çift listesinde tek bir değeri bulması gerekti. Araştırmacılar ilgili öğenin konumunu değiştirdi.

Bulguları: performans “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (çeviri: ilgili bilgi girdi bağlamının başında veya sonunda olduğunda çoğu zaman en yüksektir ve modeller uzun bağlamların ortasındaki ilgili bilgiye erişmek zorunda kaldığında, açıkça uzun bağlam için tasarlanmış modellerde bile, belirgin şekilde düşer.) Konuma göre çizildiğinde doğruluk U şekli oluşturur.

Pratik sonuç basittir. Uzun bir bağlam penceresi size bir modelin ne kadar kabul ettiğini söyler; bunu ne kadar eşit kullandığını değil.

Neden önemli

  • RAG sıralaması. Getirmeyle güçlendirilmiş üretimde (RAG) getirici pasajları sıralar. En iyisini 20 pasajın ortasına koyarsanız sıralamayı boşa harcarsınız. Onu başa ya da hem başa hem sona koyun.
  • Uzun belgeler. 80 sayfanın 40. sayfasındaki bir madde hakkında soru sormak, 1. sayfa hakkında sormaktan daha zordur. Modeli ilgili bölüme yönlendirin veya önce o bölümü ayıklayın.
  • Ajanlar. Uzun bir ajan geçmişinde ilk talimatlar ve son tur dikkat alır; çalışmanın ortasındaki araç çıktıları en çok gözden kaçma ihtimali olan kısımdır.

Lost in the middle, doğruluğun yalnızca konumla değil uzunluk ve dikkat dağıtıcılarla da düştüğü bağlam çürümesi (context rot) adlı daha geniş bir etkinin bir parçasıdır.

BroadNet Inference’ta

BroadNet’in DeepSeek V4.1 Flash ve GLM 5.3 modelleri istek başına 1.048.576 token’a kadar kabul eder. Bu, konumu daha az değil daha çok önemli kılar, çünkü ortası daha büyüktür. Hem konum etkileriyle hem de önbellekli girdiyle uyumlu bir düzen:

[stable system prompt and instructions]  -> cached prefix
[documents, best-ranked first]
[the question, restated in full]         -> end of prompt

1M token’lık bağlam rehberi ve önbelleğe alma için istem yapısı yazıları konuyu daha da ileri götürür.

Sık sorulan sorular

Yeni uzun bağlamlı modeller de hâlâ ortada kayboluyor mu?

Orijinal çalışma bu düşüşü uzun bağlam için geliştirilmiş modellerde bile buldu. Chroma'nın 2025 tarihli context rot raporu gibi sonraki çalışmalar da doğruluğun uzunlukla düştüğünü görüyor. Kendi modelinizi ve istem düzeninizi test edin.

En önemli belgeyi istemde nereye koymalıyım?

Başa veya sona yakın; ortaya gömmeyin. RAG'de en üst sıradaki pasajı başa koyun ve soruyu belgelerden sonra yeniden yazın.

Bu, istem önbelleğe alma ile çelişir mi?

Çelişebilir. Önbellek sabit bir öneki tercih eder, konum etkileri ise en ilgili metni kenarlara yakın ister. Sabit talimatları başa koyun, soruyu ve kilit pasajları sona yerleştirin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor