BroadRouter
Mulai

Context rot (degradasi konteks)

Diperbarui

Context rot adalah hilangnya akurasi dan keandalan secara bertahap yang ditunjukkan model bahasa saat inputnya makin panjang, bahkan ketika tugasnya tetap sama dan input masih jauh di dalam context window. Istilah ini dipopulerkan oleh laporan teknis Chroma tahun 2025 yang menguji 18 model.

Disebut juga: context rot, degradasi konteks, penurunan kualitas konteks panjang, context degradation, long-context degradation, context decay, context window degradation

Model yang bisa menerima sejuta token tidak memakai token ke-sejuta sebaik seribu token pertama. Celah itulah yang disebut context rot.

Cara kerjanya

Laporan Chroma (Hong, Troynikov, dan Huber, Juli 2025) menguji 18 model, termasuk GPT-4.1, Claude 4, Gemini 2.5, dan Qwen3, pada tugas yang tingkat kesulitannya tetap sementara input bertambah panjang. Temuan utamanya: “model performance consistently degrades with increasing input length” (terjemahan: performa model menurun secara konsisten seiring bertambahnya panjang input).

Tiga efek menonjol:

  • Kecocokan lemah paling terdampak. Saat pertanyaan dan bagian teks yang relevan hanya berbagi sedikit kata, akurasi turun lebih cepat seiring bertambahnya panjang.
  • Distraktor merugikan. “Even a single distractor reduces performance relative to the baseline” (terjemahan: bahkan satu distraktor saja menurunkan performa dibanding baseline), dan empat distraktor membuatnya lebih buruk. Distraktor adalah bagian teks dengan topik yang sama yang tidak menjawab pertanyaan.
  • Struktur berpengaruh, secara aneh. Teks pengisi yang koheren lebih merugikan daripada kalimat yang sama yang diacak. Para penulis menemukan “structural coherence consistently hurts model performance” (terjemahan: koherensi struktural secara konsisten merugikan performa model).

Ini dibangun di atas penelitian sebelumnya seperti lost in the middle, yang menunjukkan efek posisi. Context rot memperluas poinnya: panjang itu sendiri, bukan hanya posisi, menurunkan akurasi.

Mengapa penting

  • Agen. Agen coding atau riset menumpuk hasil baca file, log, dan hasil tool lama. Masing-masing berpotensi menjadi distraktor. Akurasi bisa merosot jauh sebelum context window penuh.
  • Biaya dan latensi. Prompt yang lebih panjang juga memakan lebih banyak token input dan lebih lama diproses, jadi memangkasnya membantu di tiga sisi sekaligus.
  • Konteks panjang vs retrieval. Mengirim seluruh korpus memang sederhana, tetapi RAG yang hanya mengirim chunk yang relevan menjauhkan distraktor.

Di BroadNet Inference

DeepSeek V4.1 Flash dan GLM 5.3 di BroadNet menerima hingga 1.048.576 token, dan Qwen3.8 27B hingga 262.144. BroadNet tidak memangkas konteks Anda, jadi apa yang Anda kirim itulah yang dibaca model. Anggap batas itu sebagai plafon, bukan target. Panduan context window 1 juta token membahas kapan window penuh sepadan, dan manajemen konteks untuk agen yang berjalan lama menunjukkan pola meringkas dan memangkas. Kalkulator context window membantu mengukur prompt sebelum Anda mengirimnya.

Kesalahan umum

  • Menempelkan setiap file “untuk jaga-jaga”. Teks yang berkaitan tetapi tidak relevan persis seperti yang dipakai dalam uji distraktor Chroma.
  • Menguji dengan “jarum” yang sama persis kata per kata dengan pertanyaannya. Pertanyaan nyata jarang begitu.

Pertanyaan umum

Apakah context rot sama dengan lost in the middle?

Keduanya berkaitan. Lost in the middle membahas di bagian mana fakta kunci berada dalam prompt. Context rot membahas bagaimana total panjang input, distraktor, dan struktur menurunkan akurasi secara keseluruhan.

Apakah context window yang lebih besar mengatasi context rot?

Tidak. Window yang lebih besar memungkinkan Anda mengirim lebih banyak, tetapi Chroma menemukan performa turun saat input membesar di setiap model yang diujinya. Kirim yang dibutuhkan tugas, bukan semua yang muat.

Bagaimana agen menghindari context rot?

Dengan menjaga konteks kerja tetap pendek: meringkas giliran lama, membuang output tool yang sudah usang, dan memuat file saat dibutuhkan, bukan sekaligus.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity