BroadRouter

Manajemen konteks untuk agent yang berjalan lama dengan window 1M

Oleh tim BroadNet Inference · 6 menit baca · Dipublikasikan · Diperbarui

Perlakukan konteks sebagai log append-only: system prompt dan daftar tool yang tetap di depan, lalu riwayat yang hanya bertambah, sehingga setiap giliran memakai ulang prefix yang sudah di-cache. Dengan window 1.048.576 token seperti pada DeepSeek V4.1 Flash, lakukan compaction jarang dan dalam langkah besar, pangkas output tool yang besar lebih dulu, dan simpan fakta penting di file catatan singkat yang dibaca ulang agent.

Coding agent yang bekerja sepanjang sore mengumpulkan banyak riwayat: file yang dibaca, perintah yang dijalankan, output tes, rencana, koreksi. Setiap giliran mengirim semuanya kembali ke model. Cara Anda mengelola konteks yang terus tumbuh ini menentukan tiga hal sekaligus: biaya tiap giliran, seberapa cepat jawabannya, dan apakah agent masih ingat apa yang sedang ia kerjakan.

Window 1M token mengubah trade-off tersebut. Tetapi tidak menghilangkannya.

Apa yang didapat agent yang berjalan lama dari window 1M token?

Di BroadNet Inference, DeepSeek V4.1 Flash dan GLM 5.3 menerima hingga 1.048.576 token per permintaan, prompt dan jawaban digabung. Qwen3.8 27B menerima 262.144. Dengan window yang lebih kecil, agent harus membuat ringkasan setelah satu atau dua jam kerja. Dengan sejuta token, biasanya agent bisa menyimpan seluruh riwayat mentah satu sesi dan baru melakukan compaction menjelang akhir run yang sangat panjang.

Itu keunggulan nyata: ringkasan bersifat lossy, dan setiap ringkasan adalah peluang untuk melupakan satu detail yang justru penting. Namun tiga biaya tetap tumbuh bersama prompt:

  • Uang, pada kunci berbayar per token, karena setiap giliran mengirim ulang seluruh prompt.
  • Latensi, karena server harus memproses setiap token input sebelum token output pertama.
  • Perhatian. Kualitas bisa turun saat input membesar, efek yang disebut context rot. Paper “Lost in the Middle” menemukan bahwa model cenderung lebih andal memakai informasi di awal dan akhir input panjang dibanding di bagian tengah. Model yang lebih baru lebih baik, tetapi kebiasaan menaruh fakta penting di dekat tepi tetap bermanfaat.

Aturan 1: kenapa riwayat harus append-only?

Prompt caching mencocokkan dari awal prompt. Jika 300.000 token pertama giliran ini identik dengan giliran sebelumnya, token itu bisa dilayani dari cache; token pertama yang berubah mengakhiri kecocokan. API BroadNet melaporkan hal ini di usage.prompt_tokens_details.cached_tokens jika model melaporkannya, dan menagih input cache dengan tarif lebih rendah: $0.0055 per 1M token pada DeepSeek V4.1 Flash, dibanding $0.175 untuk input baru.

Jadi susun setiap permintaan dengan urutan yang sama dan hanya tambahkan di bagian akhir:

[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]

Perusak prefix yang paling umum adalah timestamp di system prompt, definisi tool dengan urutan yang tidak stabil, dan me-render ulang hasil tool lama. Untuk agent, tambahkan satu lagi: pemangkasan “sliding window” yang membuang giliran tertua setiap kali, sehingga semua yang ada setelahnya bergeser. Masing-masing mengubah prompt yang sudah di-cache menjadi prompt baru; struktur prompt untuk caching mendaftar sisanya, lengkap dengan tes yang membuktikan prefix-nya di-cache. Pada sesi panjang perbedaannya besar: sebagian besar prompt bisa menjadi input cache, bukan input baru. Cara input cache ditagih.

Aturan 2: bagaimana mengukur rasio cache?

Catat untuk setiap permintaan. Dengan OpenAI SDK, cukup tiga baris setelah pemanggilan:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")

Agent append-only yang sehat menunjukkan porsi cache tinggi di setiap giliran setelah yang pertama. Penurunan tiba-tiba ke hampir nol berarti ada sesuatu di bagian awal prompt yang berubah. Temukan dan kunci. Kalkulator prompt caching mengubah rasio cache menjadi biaya per sesi.

Aturan 3: apa yang dipangkas lebih dulu saat konteks membesar?

Saat konteks memang harus dikecilkan, apa yang Anda buang itu penting. Di sebagian besar transkrip agent, porsi terbesar adalah output tool: log tes 4.000 baris, satu file utuh yang dibaca hanya untuk mencari satu fungsi, daftar isi direktori. Bagian yang berharga justru kecil: rencana, keputusan beserta alasannya, error yang sudah diperbaiki.

Urutan yang dipangkas, dari yang pertama sampai terakhir:

  1. Output tool yang sudah basi. Ganti isi hasil tool lama dengan ringkasan satu baris: “ran pytest: 3 failures in test_api.py (fixed in turn 14)”.
  2. Isi file yang sudah usang. Jika agent membaca api.py, mengeditnya, lalu membacanya lagi, pembacaan pertama hanya beban mati.
  3. Eksplorasi yang tidak menghasilkan apa-apa. Pencarian dan pembacaan yang tidak berujung pada perubahan.
  4. Penalaran dan rencana. Simpan ini paling lama. Bagian inilah yang menjelaskan kenapa kodenya seperti sekarang.

Memotong output tool pada saat dihasilkan bahkan lebih baik. Batasi setiap hasil tool (misalnya 200 baris terakhir log plus jumlah barisnya) dan biarkan agent meminta lebih jika perlu. Dengan begitu riwayat tetap append-only dan kecil.

Aturan 4: kapan agent sebaiknya melakukan compaction riwayat?

Compaction (meringkas riwayat lama menjadi blok yang lebih pendek) adalah alat berat. Ia menulis ulang prefix, sehingga giliran setelah compaction membayar harga input penuh untuk semua yang ada setelah system prompt. Melakukan compaction sedikit-sedikit setiap beberapa giliran berarti membayar harga itu berulang kali.

Lebih baik:

  • Pilih ambang yang tinggi. Dengan window 1M, compaction pada, misalnya, 60–70% penuh menyisakan ruang untuk giliran ringkasan dan ekor panjang pekerjaan baru.
  • Simpan bagian terbaru apa adanya. Ringkas bagian lama dan biarkan rangkaian giliran terakhir utuh. Dokumentasi compaction opencode menjelaskan hal ini: ia meringkas percakapan dan menyimpan bagian terbaru, sekitar 15.000 token secara default.
  • Buat ringkasan dengan prompt penuh. Mengirim seluruh percakapan ke permintaan ringkasan memungkinkannya memakai ulang cache dari giliran sebelumnya.
  • Compaction sekali, lalu kembali append. Setelah compaction, prefix baru stabil, dan caching berlanjut dari sana.

Aturan 5: apa yang masuk ke file catatan?

Beberapa fakta harus bertahan melewati berapa pun compaction: tujuan, batasan, keputusan yang diambil, perintah untuk build dan menjalankan tes proyek. Simpan di file catatan singkat (NOTES.md atau file tugas) yang ditambah dan dibaca ulang oleh agent. File ini berada di dekat bagian atas prompt, jarang berubah, dan menjadi hal pertama yang dibaca sesi baru jika run dimulai ulang.

Ini juga bentuk memori yang paling murah: beberapa ribu token yang menyelamatkan agent dari menemukan ulang fakta yang sama setelah setiap ringkasan.

Bagaimana token penalaran memengaruhi anggaran?

DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B melakukan penalaran sebelum menjawab, dan penalaran dihitung dalam max_tokens. Sesi panjang tidak mengubah hal itu, tetapi prompt besar menggoda orang untuk menurunkan max_tokens demi “menghemat ruang”. Jangan. Anggaran output yang sempit menghasilkan jawaban kosong, yang lalu di-retry oleh agent. Kenapa jawaban kembali kosong.

Ingat juga bahwa window menghitung prompt dan jawaban bersama-sama. Saat prompt mendekati 1.048.576 token, tidak ada ruang tersisa untuk menjawab. Lakukan compaction sebelum sampai di sana; kalkulator context window menunjukkan berapa ruang yang tersisa untuk prompt tertentu.

Apakah ini penting di paket harga tetap?

Pada sesi paket BroadNet, DeepSeek V4.1 Flash tidak punya meteran token: satu sesi Full Moon seharga $60 per bulan, sepanjang apa pun prompt-nya. Alasan uang untuk caching pun hilang. Dua alasan lainnya tidak. Prefix yang di-cache biasanya lebih cepat diproses di banyak sistem serving, dan konteks yang dikelola dengan baik memberi jawaban yang lebih baik. Kebiasaannya sama; hanya alasannya yang berubah. Cara kerja sesi paket.

Checklist manajemen konteks

  • System prompt dan daftar tool tetap selama satu sesi.
  • Riwayat hanya ditambah; giliran lama tidak pernah diformat ulang.
  • Rasio cache dicatat per permintaan.
  • Output tool dibatasi saat dihasilkan; output basi diganti ringkasan belakangan.
  • Compaction pada ambang tinggi, dengan bagian terbaru tetap apa adanya.
  • Ada file catatan berisi tujuan, batasan, dan keputusan.
  • Anggaran output cukup besar untuk penalaran.

Untuk pembahasan kapan window sejuta token layak dipakai, lihat panduan context window 1M. Untuk menghentikan sesi yang terus membesar tanpa kemajuan, lihat kontrol biaya loop agent.

Pertanyaan umum

Kalau model punya window 1M, kenapa konteks masih perlu dikelola?

Karena biaya, latensi, dan akurasi semuanya berubah saat prompt membesar. Prompt panjang butuh waktu proses lebih lama, lebih mahal per giliran pada kunci berbayar per token, dan riset menunjukkan model kurang andal memakai informasi di bagian tengah input yang panjang.

Bagaimana cara tahu agent saya kena cache atau tidak?

Jika model melaporkannya, blok usage berisi prompt_tokens_details.cached_tokens. Bagi angka itu dengan prompt_tokens untuk setiap permintaan dan catat rasionya.

Apakah compaction penting di paket harga tetap?

Tidak untuk tagihan, karena sesi paket tidak punya meteran token. Tetapi tetap penting untuk kecepatan dan kualitas jawaban di sesi yang sangat panjang.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity