BroadRouter
Magsimula

Context rot

Na-update

Ang context rot ay ang unti-unting pagbaba ng accuracy at pagiging maaasahan ng mga language model habang humahaba ang input nila, kahit pareho pa rin ang task at malayo pa sa limit ng context window ang input. Pinasikat ang termino ng isang technical report ng Chroma noong 2025 na sumubok sa 18 model.

Tinatawag ding: context degradation, long-context degradation, context decay, context window degradation, paghina ng model sa mahabang context

Kahit kayang tumanggap ng isang model ng isang milyong token, hindi nito nagagamit ang ika-isang milyong token nang kasinghusay ng unang isang libo. Ang agwat na iyon ang context rot.

Paano ito gumagana

Sinubukan ng report ng Chroma (Hong, Troynikov at Huber, Hulyo 2025) ang 18 model, kasama ang GPT-4.1, Claude 4, Gemini 2.5 at Qwen3, sa mga task na pareho ang hirap habang lumalaki ang input. Ang pangunahing natuklasan nito: “model performance consistently degrades with increasing input length.” (Salin ng BroadRouter: “palaging bumababa ang performance ng model habang humahaba ang input.”)

Tatlong epekto ang namukod-tangi:

  • Pinakaapektado ang mahihinang match. Kapag kakaunti ang salitang pareho sa tanong at sa kaugnay na passage, mas mabilis bumaba ang accuracy habang humahaba ang input.
  • Nakakasama ang mga distractor. “Even a single distractor reduces performance relative to the baseline” (Salin ng BroadRouter: “kahit isang distractor lang ay nagpapababa ng performance kumpara sa baseline”), at mas lumala pa sa apat. Ang distractor ay passage na pareho ang paksa pero hindi sumasagot sa tanong.
  • Mahalaga ang istruktura, sa kakaibang paraan. Mas nakasama ang magkakaugnay na filler text kaysa sa parehong mga pangungusap na pinaghalo-halo. Natuklasan ng mga awtor na “structural coherence consistently hurts model performance.” (Salin ng BroadRouter: “palaging nakakasama sa performance ng model ang maayos na istruktura ng text.”)

Nakabatay ito sa naunang pag-aaral gaya ng lost in the middle, na nagpakita ng epekto ng posisyon. Pinalalawak ito ng context rot: ang haba mismo, hindi lang ang posisyon, ang nagpapababa ng accuracy.

Bakit ito mahalaga

  • Mga agent. Nag-iipon ang isang coding o research agent ng mga binasang file, log at lumang tool result. Posibleng distractor ang bawat isa. Puwedeng bumaba ang accuracy bago pa mapuno ang context window.
  • Gastos at latency. Mas malaki rin ang gastos sa input token ng mas mahahabang prompt at mas matagal itong i-process, kaya sa tatlong aspeto nakakatulong ang pagbabawas.
  • Long-context vs retrieval. Simple ang pagpapadala ng buong corpus, pero ang RAG na nagpapadala lang ng mga kaugnay na chunk ay naglalayo sa mga distractor.

Sa BroadNet Inference

Tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng BroadNet ng hanggang 1,048,576 token, at ang Qwen3.8 27B ng hanggang 262,144. Hindi binabawasan ng BroadNet ang context mo, kaya kung ano ang ipinadala mo, iyon ang binabasa ng model. Ituring ang limit bilang kisame, hindi target. Tinatalakay ng gabay sa 1M-token na context window kung kailan sulit ang punong window, at ipinapakita ng context management para sa mga long-running agent ang mga pattern ng pag-summarize at pag-prune. Nakakatulong ang context window calculator na sukatin ang prompt bago mo ito ipadala.

Mga karaniwang pagkakamali

  • Pag-paste ng bawat file “just in case.” Ang text na kaugnay pero hindi relevant ang mismong ginamit sa mga distractor test ng Chroma.
  • Pag-test gamit ang needle na salita-por-salitang tugma sa tanong. Bihira itong mangyari sa totoong mga tanong.

Mga tanong

Pareho ba ang context rot at lost in the middle?

Magkaugnay sila. Ang lost in the middle ay tungkol sa kung saan sa prompt nakalagay ang mahalagang fact. Ang context rot ay tungkol sa kung paano pinabababa ng kabuuang haba ng input, ng mga distractor at ng istruktura ang accuracy sa pangkalahatan.

Naaayos ba ng mas malaking context window ang context rot?

Hindi. Mas marami kang maipapadala sa mas malaking window, pero nakita ng Chroma na bumababa ang performance habang lumalaki ang input sa bawat model na sinubukan nito. Ipadala ang kailangan ng task, hindi lahat ng kasya.

Paano naiiwasan ng mga agent ang context rot?

Sa pagpapanatiling maikli ng working context: pag-summarize ng mga lumang turn, pagtanggal ng lumang tool output, at pag-load ng mga file kapag kailangan lang sa halip na sabay-sabay.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity