BroadRouter

Lost in the middle (lạc ở giữa)

Cập nhật

Lost in the middle là xu hướng đã được quan sát ở các model ngôn ngữ: chúng dùng thông tin liên quan tốt nhất khi nó nằm gần đầu hoặc cuối một đầu vào dài, và kém nhất khi nó nằm ở giữa. Tên gọi xuất phát từ nghiên cứu năm 2023 của Liu và cộng sự.

Còn gọi là: lost in the middle là gì, lạc ở giữa, thiên lệch vị trí context, vấn đề giữa context, hiệu năng hình chữ U, lost-in-the-middle effect, middle-of-context problem, long-context position bias, U-shaped context performance

Đặt câu trả lời vào giữa một prompt dài, và nhiều model dễ bỏ sót nó hơn so với khi nó nằm ở đầu hoặc cuối.

Cách hoạt động

Liu và cộng sự (2023) kiểm thử các model trên hai tác vụ. Trong hỏi đáp nhiều tài liệu, model nhận một câu hỏi và nhiều tài liệu được truy xuất, trong đó chỉ một tài liệu chứa câu trả lời. Trong truy xuất key-value, model phải tìm một value trong danh sách dài các cặp. Các nhà nghiên cứu thay đổi vị trí của mục liên quan.

Phát hiện của họ: hiệu năng “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (Bản dịch: thường cao nhất khi thông tin liên quan xuất hiện ở đầu hoặc cuối context đầu vào, và giảm đáng kể khi model phải truy cập thông tin liên quan ở giữa context dài, kể cả với các model được thiết kế rõ ràng cho context dài.) Vẽ theo vị trí, độ chính xác tạo thành hình chữ U.

Cách hiểu thực tế rất đơn giản. Một context window dài cho biết model nhận được bao nhiêu, chứ không cho biết nó dùng phần đó đồng đều đến mức nào.

Vì sao quan trọng

  • Thứ tự trong RAG. Trong retrieval-augmented generation, bộ truy xuất xếp hạng các đoạn văn. Nếu bạn đặt đoạn tốt nhất ở giữa 20 đoạn, bạn lãng phí việc xếp hạng. Hãy đặt nó đầu tiên, hoặc cả đầu tiên lẫn cuối cùng.
  • Tài liệu dài. Hỏi về một điều khoản ở trang 40 trên 80 khó hơn hỏi về trang 1. Hãy chỉ cho model đúng phần cần đọc, hoặc trích nó ra trước.
  • Agent. Trong lịch sử dài của một agent, chỉ dẫn ban đầu và lượt mới nhất được chú ý; đầu ra tool ở giữa quá trình là phần dễ bị dùng thiếu nhất.

Lost in the middle là một phần của hiệu ứng rộng hơn gọi là context rot, trong đó độ chính xác giảm theo độ dài và các yếu tố gây nhiễu, không chỉ theo vị trí.

Trên BroadNet Inference

DeepSeek V4.1 Flash và GLM 5.3 của BroadNet nhận tối đa 1,048,576 token mỗi request. Điều đó làm vị trí quan trọng hơn chứ không kém đi, vì phần giữa dài hơn. Một bố cục phù hợp với cả hiệu ứng vị trí lẫn đầu vào đã cache:

[stable system prompt and instructions]  -> cached prefix
[documents, best-ranked first]
[the question, restated in full]         -> end of prompt

Hướng dẫn context 1M token và cấu trúc prompt để tận dụng cache đi sâu hơn.

Câu hỏi thường gặp

Các model context dài mới hơn có còn bị lost in the middle không?

Nghiên cứu gốc thấy mức sụt giảm ngay cả ở model được xây cho context dài. Các nghiên cứu sau như báo cáo context rot năm 2025 của Chroma vẫn thấy độ chính xác giảm theo độ dài. Hãy kiểm thử với model và bố cục prompt của bạn.

Nên đặt tài liệu quan trọng nhất ở đâu trong prompt?

Gần đầu hoặc cuối, đừng chôn ở giữa. Với RAG, đặt đoạn văn được xếp hạng cao nhất lên đầu và nhắc lại câu hỏi sau các tài liệu.

Điều này có mâu thuẫn với prompt caching không?

Có thể. Caching ưu tiên một prefix ổn định, còn hiệu ứng vị trí ưu tiên văn bản liên quan nhất ở hai đầu. Hãy giữ chỉ dẫn ổn định ở đầu, và đặt câu hỏi cùng các đoạn quan trọng ở cuối.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity