Đặt câu trả lời vào giữa một prompt dài, và nhiều model dễ bỏ sót nó hơn so với khi nó nằm ở đầu hoặc cuối.
Cách hoạt động
Liu và cộng sự (2023) kiểm thử các model trên hai tác vụ. Trong hỏi đáp nhiều tài liệu, model nhận một câu hỏi và nhiều tài liệu được truy xuất, trong đó chỉ một tài liệu chứa câu trả lời. Trong truy xuất key-value, model phải tìm một value trong danh sách dài các cặp. Các nhà nghiên cứu thay đổi vị trí của mục liên quan.
Phát hiện của họ: hiệu năng “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (Bản dịch: thường cao nhất khi thông tin liên quan xuất hiện ở đầu hoặc cuối context đầu vào, và giảm đáng kể khi model phải truy cập thông tin liên quan ở giữa context dài, kể cả với các model được thiết kế rõ ràng cho context dài.) Vẽ theo vị trí, độ chính xác tạo thành hình chữ U.
Cách hiểu thực tế rất đơn giản. Một context window dài cho biết model nhận được bao nhiêu, chứ không cho biết nó dùng phần đó đồng đều đến mức nào.
Vì sao quan trọng
- Thứ tự trong RAG. Trong retrieval-augmented generation, bộ truy xuất xếp hạng các đoạn văn. Nếu bạn đặt đoạn tốt nhất ở giữa 20 đoạn, bạn lãng phí việc xếp hạng. Hãy đặt nó đầu tiên, hoặc cả đầu tiên lẫn cuối cùng.
- Tài liệu dài. Hỏi về một điều khoản ở trang 40 trên 80 khó hơn hỏi về trang 1. Hãy chỉ cho model đúng phần cần đọc, hoặc trích nó ra trước.
- Agent. Trong lịch sử dài của một agent, chỉ dẫn ban đầu và lượt mới nhất được chú ý; đầu ra tool ở giữa quá trình là phần dễ bị dùng thiếu nhất.
Lost in the middle là một phần của hiệu ứng rộng hơn gọi là context rot, trong đó độ chính xác giảm theo độ dài và các yếu tố gây nhiễu, không chỉ theo vị trí.
Trên BroadNet Inference
DeepSeek V4.1 Flash và GLM 5.3 của BroadNet nhận tối đa 1,048,576 token mỗi request. Điều đó làm vị trí quan trọng hơn chứ không kém đi, vì phần giữa dài hơn. Một bố cục phù hợp với cả hiệu ứng vị trí lẫn đầu vào đã cache:
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
Hướng dẫn context 1M token và cấu trúc prompt để tận dụng cache đi sâu hơn.