BroadRouter
Bắt đầu

Context rot (suy giảm khi context dài)

Cập nhật

Context rot là sự suy giảm dần về độ chính xác và độ tin cậy của model ngôn ngữ khi input dài ra, ngay cả khi tác vụ không đổi và input vẫn nằm gọn trong context window. Thuật ngữ này phổ biến nhờ một báo cáo kỹ thuật năm 2025 của Chroma thử nghiệm 18 model.

Còn gọi là: context rot là gì, suy giảm ngữ cảnh, suy giảm context dài, LLM kém khi context dài, context degradation, long-context degradation, context decay, context window degradation

Một model nhận được một triệu token không dùng token thứ một triệu tốt bằng một nghìn token đầu tiên. Khoảng chênh lệch đó là context rot.

Cách hoạt động

Báo cáo của Chroma (Hong, Troynikov và Huber, tháng 7 năm 2025) thử 18 model, gồm GPT-4.1, Claude 4, Gemini 2.5 và Qwen3, trên các tác vụ giữ nguyên độ khó trong khi input dài ra. Phát hiện chính: “model performance consistently degrades with increasing input length.” (Bản dịch: hiệu năng model giảm một cách nhất quán khi độ dài input tăng.)

Có ba hiệu ứng nổi bật:

  • Khớp yếu bị ảnh hưởng nặng nhất. Khi câu hỏi và đoạn liên quan có ít từ chung, độ chính xác giảm nhanh hơn khi độ dài tăng.
  • Đoạn gây nhiễu có hại. “Even a single distractor reduces performance relative to the baseline” (Bản dịch: chỉ một đoạn gây nhiễu cũng làm hiệu năng giảm so với mức cơ sở), và bốn đoạn thì tệ hơn nữa. Đoạn gây nhiễu (distractor) là đoạn cùng chủ đề nhưng không trả lời câu hỏi.
  • Cấu trúc có ảnh hưởng, theo cách lạ. Văn bản đệm mạch lạc gây hại nhiều hơn chính các câu đó khi bị xáo trộn. Các tác giả thấy “structural coherence consistently hurts model performance.” (Bản dịch: tính mạch lạc về cấu trúc luôn làm giảm hiệu năng model.)

Kết quả này nối tiếp các nghiên cứu trước như lost in the middle, vốn chỉ ra hiệu ứng vị trí. Context rot mở rộng luận điểm: bản thân độ dài, chứ không chỉ vị trí, đã làm mất độ chính xác.

Vì sao quan trọng

  • Agent. Một agent lập trình hay nghiên cứu tích lũy các lần đọc file, log và kết quả tool cũ. Mỗi thứ đều có thể là đoạn gây nhiễu. Độ chính xác có thể tụt từ rất lâu trước khi context window đầy.
  • Chi phí và độ trễ. Prompt dài hơn cũng tốn nhiều token input hơn và xử lý lâu hơn, nên cắt gọn có lợi ở cả ba mặt cùng lúc.
  • Context dài so với truy xuất. Gửi cả kho tài liệu thì đơn giản, nhưng RAG chỉ gửi các chunk liên quan nên giữ được đoạn gây nhiễu ở ngoài.

Trên BroadNet Inference

DeepSeek V4.1 Flash và GLM 5.3 của BroadNet nhận tới 1.048.576 token, còn Qwen3.8 27B nhận tới 262.144. BroadNet không cắt context của bạn, nên bạn gửi gì thì model đọc nấy. Hãy coi giới hạn là trần, không phải mục tiêu. Hướng dẫn context window 1 triệu token bàn về khi nào dùng đầy window là đáng, và quản lý context cho agent chạy lâu trình bày các mẫu tóm tắt và cắt tỉa. Công cụ tính context window giúp ước lượng kích thước prompt trước khi gửi.

Lỗi thường gặp

  • Dán mọi file vào “cho chắc”. Văn bản có liên quan nhưng không cần thiết chính là thứ mà các bài test đoạn gây nhiễu của Chroma sử dụng.
  • Test bằng một “cây kim” (needle) khớp từng chữ với câu hỏi. Câu hỏi thật hiếm khi như vậy.

Câu hỏi thường gặp

Context rot có giống lost in the middle không?

Hai khái niệm có liên quan. Lost in the middle nói về vị trí của dữ kiện then chốt trong prompt. Context rot nói về việc tổng độ dài input, các đoạn gây nhiễu và cấu trúc làm giảm độ chính xác nói chung.

Context window lớn hơn có khắc phục được context rot không?

Không. Window lớn hơn cho phép gửi nhiều hơn, nhưng Chroma thấy hiệu năng giảm khi input dài ra ở mọi model họ thử. Hãy gửi thứ tác vụ cần, đừng gửi mọi thứ vừa được.

Agent tránh context rot bằng cách nào?

Bằng cách giữ context làm việc ngắn: tóm tắt các lượt cũ, bỏ đầu ra tool đã cũ, và nạp file khi cần thay vì nạp hết một lúc.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity