BroadRouter

Lost in the middle (perdido en el medio)

Actualizado

Lost in the middle es la tendencia observada de los modelos de lenguaje a aprovechar mejor la información relevante cuando aparece cerca del principio o del final de una entrada larga, y peor cuando está en el medio. Recibió ese nombre en un estudio de Liu et al. de 2023.

También llamado: lost in the middle, perdido en el medio, efecto lost in the middle, problema del medio del contexto, sesgo de posición en contexto largo, rendimiento en forma de U, lost-in-the-middle effect, middle-of-context problem, long-context position bias, U-shaped context performance

Si pone la respuesta en medio de un prompt largo, muchos modelos tienen más probabilidades de pasarla por alto que si está al principio o al final.

Cómo funciona

Liu et al. (2023) probaron modelos en dos tareas. En la respuesta a preguntas con varios documentos, el modelo recibía una pregunta y varios documentos recuperados, de los cuales solo uno contenía la respuesta. En la recuperación clave-valor, tenía que encontrar un valor en una larga lista de pares. Los investigadores variaron la posición del elemento relevante.

Su conclusión: el rendimiento “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (traducción: suele ser máximo cuando la información relevante aparece al principio o al final del contexto de entrada, y se degrada notablemente cuando los modelos deben acceder a información relevante en medio de contextos largos, incluso en modelos diseñados explícitamente para contexto largo). Representada por posición, la precisión forma una U.

La lectura práctica es sencilla. Una ventana de contexto larga indica cuánto acepta un modelo, no lo uniformemente que lo aprovecha.

Por qué importa

  • Orden en RAG. En la generación aumentada por recuperación, el recuperador ordena los fragmentos. Si pone el mejor en medio de 20, desperdicia ese orden. Póngalo primero, o primero y último.
  • Documentos largos. Preguntar por una cláusula de la página 40 de 80 es más difícil que por la página 1. Indique al modelo la sección o extráigala antes.
  • Agentes. En un historial largo de un agente, las instrucciones iniciales y el último turno reciben atención; la salida de herramientas a mitad de la ejecución es la parte con más probabilidad de quedar infrautilizada.

Lost in the middle es una pieza de un efecto más amplio llamado context rot, en el que la precisión cae con la longitud y los distractores, no solo con la posición.

En BroadNet Inference

DeepSeek V4.1 Flash y GLM 5.3 de BroadNet aceptan hasta 1,048,576 tokens por solicitud. Eso hace que la posición importe más, no menos, porque hay más medio. Una disposición que respeta tanto los efectos de posición como la entrada en caché:

[stable system prompt and instructions]  -> cached prefix
[documents, best-ranked first]
[the question, restated in full]         -> end of prompt

La guía de contexto de 1M de tokens y estructura del prompt para caché profundizan más.

Preguntas frecuentes

¿Los modelos de contexto largo más nuevos siguen perdiéndose en el medio?

El estudio original encontró la caída incluso en modelos diseñados para contextos largos. Trabajos posteriores, como el informe de Chroma de 2025 sobre context rot, siguen observando que la precisión baja con la longitud. Pruebe su propio modelo y la disposición de su prompt.

¿Dónde debo poner el documento más importante en un prompt?

Cerca del principio o del final, no enterrado en el medio. En RAG, ponga primero el fragmento mejor clasificado y repita la pregunta después de los documentos.

¿Esto entra en conflicto con el prompt caching?

Puede. La caché favorece un prefijo estable, mientras que los efectos de posición favorecen el texto más relevante cerca de los extremos. Mantenga primero las instrucciones estables y ponga la pregunta y los fragmentos clave al final.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity