BroadRouter

Lost in the middle (perso nel mezzo)

Aggiornato

Lost in the middle è la tendenza osservata dei modelli linguistici a usare meglio le informazioni rilevanti quando compaiono vicino all’inizio o alla fine di un input lungo, e peggio quando stanno nel mezzo. Il nome viene da uno studio del 2023 di Liu et al.

Detto anche: lost in the middle, effetto lost in the middle, perso nel mezzo, bias di posizione nel contesto lungo, informazioni al centro del contesto, lost-in-the-middle effect, middle-of-context problem, long-context position bias, U-shaped context performance

Metti la risposta nel mezzo di un prompt lungo e molti modelli rischiano di non vederla più che se si trovasse all’inizio o alla fine.

Come funziona

Liu et al. (2023) hanno testato i modelli su due compiti. Nel question answering su più documenti, il modello riceveva una domanda e diversi documenti recuperati, di cui uno solo conteneva la risposta. Nel recupero chiave-valore, doveva trovare un valore in una lunga lista di coppie. I ricercatori hanno variato la posizione dell’elemento rilevante.

Il risultato: le prestazioni “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (traduzione: sono spesso massime quando l’informazione rilevante si trova all’inizio o alla fine del contesto di input, e peggiorano in modo significativo quando i modelli devono accedere a informazioni rilevanti nel mezzo di contesti lunghi, anche per i modelli pensati esplicitamente per il contesto lungo). Rappresentata in funzione della posizione, l’accuratezza disegna una U.

La lettura pratica è semplice. Una finestra di contesto lunga ti dice quanto testo un modello accetta, non quanto uniformemente lo usa.

Perché è importante

  • Ordine nella RAG. Nella retrieval-augmented generation, il retriever ordina i passaggi. Se metti il migliore a metà di 20, sprechi il ranking. Mettilo per primo, oppure per primo e per ultimo.
  • Documenti lunghi. Chiedere di una clausola a pagina 40 di 80 è più difficile che chiedere di pagina 1. Indica al modello la sezione, oppure estraila prima.
  • Agenti. In una lunga cronologia di un agente, le istruzioni iniziali e l’ultimo turno ricevono attenzione; l’output dei tool a metà esecuzione è la parte più a rischio di essere sottoutilizzata.

Lost in the middle è un pezzo di un effetto più ampio chiamato context rot, in cui l’accuratezza cala con la lunghezza e con i distrattori, non solo con la posizione.

Su BroadNet Inference

DeepSeek V4.1 Flash e GLM 5.3 di BroadNet accettano fino a 1.048.576 token per richiesta. Questo rende la posizione più importante, non meno, perché c’è più “mezzo”. Una disposizione che tiene conto sia degli effetti di posizione sia dell’input in cache:

[stable system prompt and instructions]  -> cached prefix
[documents, best-ranked first]
[the question, restated in full]         -> end of prompt

In ordine: system prompt e istruzioni stabili come prefisso in cache, poi i documenti con il migliore per primo, poi la domanda ripetuta per intero alla fine del prompt. La guida al contesto da 1M di token e struttura del prompt per il caching approfondiscono.

Domande frequenti

I modelli a contesto lungo più recenti si perdono ancora nel mezzo?

Lo studio originale ha trovato il calo anche nei modelli progettati per contesti lunghi. Lavori successivi, come il report di Chroma del 2025 sul context rot, rilevano ancora un’accuratezza che scende con la lunghezza. Prova il tuo modello e la tua disposizione del prompt.

Dove metto il documento più importante in un prompt?

Vicino all’inizio o alla fine, non sepolto nel mezzo. Per la RAG, metti per primo il passaggio con il ranking migliore e ripeti la domanda dopo i documenti.

Questo è in conflitto con il prompt caching?

Può esserlo. Il caching favorisce un prefisso stabile, mentre gli effetti di posizione favoriscono il testo più rilevante vicino ai bordi. Tieni per prime le istruzioni stabili, e metti la domanda e i passaggi chiave alla fine.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity