---
title: "Manajemen konteks untuk agent LLM yang berjalan lama"
description: "Cara menjaga sesi agent panjang tetap akurat dan hemat dengan window 1M token: riwayat append-only, prompt ramah cache, kapan compaction, dan apa yang dibuang dulu."
url: https://broadrouter.com/id/blog/long-running-agent-context-management/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/long-running-agent-context-management/) (diperbarui 2026-11-16).

# Manajemen konteks untuk agent yang berjalan lama dengan window 1M

Oleh tim BroadNet Inference · 6 menit baca · Dipublikasikan 2026-11-14 · Diperbarui 2026-11-16

Perlakukan konteks sebagai log append-only: system prompt dan daftar tool yang tetap di depan, lalu riwayat yang hanya bertambah, sehingga setiap giliran memakai ulang prefix yang sudah di-cache. Dengan window 1.048.576 token seperti pada DeepSeek V4.1 Flash, lakukan compaction jarang dan dalam langkah besar, pangkas output tool yang besar lebih dulu, dan simpan fakta penting di file catatan singkat yang dibaca ulang agent.

## Poin penting

-   Window besar menunda masalah konteks, bukan menghilangkannya. Rencanakan apa yang terjadi saat mendekati batas.
-   Riwayat append-only menjaga prefix prompt tetap stabil, sehingga input cache tetap murah.
-   Setiap kali Anda menulis ulang riwayat sebelumnya, cache rusak mulai dari titik itu.
-   Pangkas output tool yang besar (log, dump file) sebelum memangkas penalaran dan keputusan.
-   Lakukan compaction jarang dan dalam langkah besar, dan simpan file catatan singkat berisi fakta yang harus bertahan.

**Di halaman ini**

1.  Apa yang didapat agent yang berjalan lama dari window 1M token?
2.  Aturan 1: kenapa riwayat harus append-only?
3.  Aturan 2: bagaimana mengukur rasio cache?
4.  Aturan 3: apa yang dipangkas lebih dulu saat konteks membesar?
5.  Aturan 4: kapan agent sebaiknya melakukan compaction riwayat?
6.  Aturan 5: apa yang masuk ke file catatan?
7.  Bagaimana token penalaran memengaruhi anggaran?
8.  Apakah ini penting di paket harga tetap?
9.  Checklist manajemen konteks

Coding agent yang bekerja sepanjang sore mengumpulkan banyak riwayat: file yang dibaca, perintah yang dijalankan, output tes, rencana, koreksi. Setiap giliran mengirim semuanya kembali ke model. Cara Anda mengelola konteks yang terus tumbuh ini menentukan tiga hal sekaligus: biaya tiap giliran, seberapa cepat jawabannya, dan apakah agent masih ingat apa yang sedang ia kerjakan.

Window 1M token mengubah trade-off tersebut. Tetapi tidak menghilangkannya.

## Apa yang didapat agent yang berjalan lama dari window 1M token?

Di BroadNet Inference, [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/) dan [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/) menerima hingga 1.048.576 token per permintaan, prompt dan jawaban digabung. [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/) menerima 262.144. Dengan window yang lebih kecil, agent harus membuat ringkasan setelah satu atau dua jam kerja. Dengan sejuta token, biasanya agent bisa menyimpan seluruh riwayat mentah satu sesi dan baru melakukan compaction menjelang akhir run yang sangat panjang.

Itu keunggulan nyata: ringkasan bersifat lossy, dan setiap ringkasan adalah peluang untuk melupakan satu detail yang justru penting. Namun tiga biaya tetap tumbuh bersama prompt:

-   **Uang**, pada kunci berbayar per token, karena setiap giliran mengirim ulang seluruh prompt.
-   **Latensi**, karena server harus memproses setiap token input sebelum token output pertama.
-   **Perhatian.** Kualitas bisa turun saat input membesar, efek yang disebut [context rot](https://broadrouter.com/id/glossary/context-rot/). Paper [“Lost in the Middle”](https://arxiv.org/abs/2307.03172) menemukan bahwa model cenderung lebih andal memakai informasi di awal dan akhir input panjang dibanding di bagian tengah. Model yang lebih baru lebih baik, tetapi kebiasaan menaruh fakta penting di dekat tepi tetap bermanfaat.

## Aturan 1: kenapa riwayat harus append-only?

Prompt caching mencocokkan dari awal prompt. Jika 300.000 token pertama giliran ini identik dengan giliran sebelumnya, token itu bisa dilayani dari cache; token pertama yang berubah mengakhiri kecocokan. API BroadNet melaporkan hal ini di `usage.prompt_tokens_details.cached_tokens` jika model melaporkannya, dan menagih input cache dengan tarif lebih rendah: $0.0055 per 1M token pada DeepSeek V4.1 Flash, dibanding $0.175 untuk input baru.

Jadi susun setiap permintaan dengan urutan yang sama dan hanya tambahkan di bagian akhir:

```text
[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]
```

Perusak prefix yang paling umum adalah timestamp di system prompt, definisi tool dengan urutan yang tidak stabil, dan me-render ulang hasil tool lama. Untuk agent, tambahkan satu lagi: pemangkasan “sliding window” yang membuang giliran tertua setiap kali, sehingga semua yang ada setelahnya bergeser. Masing-masing mengubah prompt yang sudah di-cache menjadi prompt baru; [struktur prompt untuk caching](https://broadrouter.com/id/blog/prompt-structure-for-caching/) mendaftar sisanya, lengkap dengan tes yang membuktikan prefix-nya di-cache. Pada sesi panjang perbedaannya besar: sebagian besar prompt bisa menjadi input cache, bukan input baru. [Cara input cache ditagih](https://broadrouter.com/id/blog/cached-input-tokens-explained/).

## Aturan 2: bagaimana mengukur rasio cache?

Catat untuk setiap permintaan. Dengan OpenAI SDK, cukup tiga baris setelah pemanggilan:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
```

Agent append-only yang sehat menunjukkan porsi cache tinggi di setiap giliran setelah yang pertama. Penurunan tiba-tiba ke hampir nol berarti ada sesuatu di bagian awal prompt yang berubah. Temukan dan kunci. [Kalkulator prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/) mengubah rasio cache menjadi biaya per sesi.

## Aturan 3: apa yang dipangkas lebih dulu saat konteks membesar?

Saat konteks memang harus dikecilkan, apa yang Anda buang itu penting. Di sebagian besar transkrip agent, porsi terbesar adalah output tool: log tes 4.000 baris, satu file utuh yang dibaca hanya untuk mencari satu fungsi, daftar isi direktori. Bagian yang berharga justru kecil: rencana, keputusan beserta alasannya, error yang sudah diperbaiki.

Urutan yang dipangkas, dari yang pertama sampai terakhir:

1.  **Output tool yang sudah basi.** Ganti isi hasil tool lama dengan ringkasan satu baris: “ran pytest: 3 failures in test\_api.py (fixed in turn 14)”.
2.  **Isi file yang sudah usang.** Jika agent membaca `api.py`, mengeditnya, lalu membacanya lagi, pembacaan pertama hanya beban mati.
3.  **Eksplorasi yang tidak menghasilkan apa-apa.** Pencarian dan pembacaan yang tidak berujung pada perubahan.
4.  **Penalaran dan rencana.** Simpan ini paling lama. Bagian inilah yang menjelaskan kenapa kodenya seperti sekarang.

Memotong output tool pada saat dihasilkan bahkan lebih baik. Batasi setiap hasil tool (misalnya 200 baris terakhir log plus jumlah barisnya) dan biarkan agent meminta lebih jika perlu. Dengan begitu riwayat tetap append-only dan kecil.

## Aturan 4: kapan agent sebaiknya melakukan compaction riwayat?

Compaction (meringkas riwayat lama menjadi blok yang lebih pendek) adalah alat berat. Ia menulis ulang prefix, sehingga giliran setelah compaction membayar harga input penuh untuk semua yang ada setelah system prompt. Melakukan compaction sedikit-sedikit setiap beberapa giliran berarti membayar harga itu berulang kali.

Lebih baik:

-   **Pilih ambang yang tinggi.** Dengan window 1M, compaction pada, misalnya, 60–70% penuh menyisakan ruang untuk giliran ringkasan dan ekor panjang pekerjaan baru.
-   **Simpan bagian terbaru apa adanya.** Ringkas bagian lama dan biarkan rangkaian giliran terakhir utuh. [Dokumentasi compaction](https://opencode.ai/docs/compaction/) opencode menjelaskan hal ini: ia meringkas percakapan dan menyimpan bagian terbaru, sekitar 15.000 token secara default.
-   **Buat ringkasan dengan prompt penuh.** Mengirim seluruh percakapan ke permintaan ringkasan memungkinkannya memakai ulang cache dari giliran sebelumnya.
-   **Compaction sekali, lalu kembali append.** Setelah compaction, prefix baru stabil, dan caching berlanjut dari sana.

## Aturan 5: apa yang masuk ke file catatan?

Beberapa fakta harus bertahan melewati berapa pun compaction: tujuan, batasan, keputusan yang diambil, perintah untuk build dan menjalankan tes proyek. Simpan di file catatan singkat (`NOTES.md` atau file tugas) yang ditambah dan dibaca ulang oleh agent. File ini berada di dekat bagian atas prompt, jarang berubah, dan menjadi hal pertama yang dibaca sesi baru jika run dimulai ulang.

Ini juga bentuk memori yang paling murah: beberapa ribu token yang menyelamatkan agent dari menemukan ulang fakta yang sama setelah setiap ringkasan.

## Bagaimana token penalaran memengaruhi anggaran?

DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B melakukan penalaran sebelum menjawab, dan penalaran dihitung dalam `max_tokens`. Sesi panjang tidak mengubah hal itu, tetapi prompt besar menggoda orang untuk menurunkan `max_tokens` demi “menghemat ruang”. Jangan. Anggaran output yang sempit menghasilkan jawaban kosong, yang lalu di-retry oleh agent. [Kenapa jawaban kembali kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/).

Ingat juga bahwa window menghitung prompt dan jawaban bersama-sama. Saat prompt mendekati 1.048.576 token, tidak ada ruang tersisa untuk menjawab. Lakukan compaction sebelum sampai di sana; [kalkulator context window](https://broadrouter.com/tools/context-window-calculator/) menunjukkan berapa ruang yang tersisa untuk prompt tertentu.

## Apakah ini penting di paket harga tetap?

Pada sesi paket BroadNet, DeepSeek V4.1 Flash tidak punya meteran token: satu sesi Full Moon seharga $60 per bulan, sepanjang apa pun prompt-nya. Alasan uang untuk caching pun hilang. Dua alasan lainnya tidak. Prefix yang di-cache biasanya lebih cepat diproses di banyak sistem serving, dan konteks yang dikelola dengan baik memberi jawaban yang lebih baik. Kebiasaannya sama; hanya alasannya yang berubah. [Cara kerja sesi paket](https://broadrouter.com/id/guides/unlimited-llm-api-sessions/).

## Checklist manajemen konteks

-   System prompt dan daftar tool tetap selama satu sesi.
-   Riwayat hanya ditambah; giliran lama tidak pernah diformat ulang.
-   Rasio cache dicatat per permintaan.
-   Output tool dibatasi saat dihasilkan; output basi diganti ringkasan belakangan.
-   Compaction pada ambang tinggi, dengan bagian terbaru tetap apa adanya.
-   Ada file catatan berisi tujuan, batasan, dan keputusan.
-   Anggaran output cukup besar untuk penalaran.

Untuk pembahasan kapan window sejuta token layak dipakai, lihat [panduan context window 1M](https://broadrouter.com/id/blog/million-token-context-window-guide/). Untuk menghentikan sesi yang terus membesar tanpa kemajuan, lihat [kontrol biaya loop agent](https://broadrouter.com/id/blog/cut-coding-agent-llm-costs/).

Alat gratis untuk topik ini (bahasa Inggris)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Context compaction (pemadatan konteks)](https://broadrouter.com/id/glossary/context-compaction/)

Context compaction adalah praktik meringkas percakapan yang mendekati batas context window lalu melanjutkan sesi dari ringkasan itu, sehingga agen tetap menyimpan keputusan dan status penting sambil membuang riwayat mentah seperti output tool lama.

[System prompt (prompt sistem)](https://broadrouter.com/id/glossary/system-prompt/)

System prompt adalah teks instruksi yang dikirim aplikasi ke model bahasa sebelum percakapan, biasanya sebagai pesan dengan peran system atau developer. System prompt menetapkan peran, aturan, gaya bahasa, dan format output model, dan model dirancang untuk mengikutinya di atas pesan pengguna yang bertentangan.

[Token input cache (cached input tokens)](https://broadrouter.com/id/glossary/cached-input-tokens/)

Token input cache adalah token prompt yang baru saja diproses penyedia LLM dan bisa dipakai ulang dari cache alih-alih dihitung lagi, biasanya prefiks berulang seperti system prompt atau dokumen. Penyedia menagihnya dengan tarif lebih rendah daripada token input baru.

[Context window (jendela konteks)](https://broadrouter.com/id/glossary/context-window/)

Context window adalah jumlah token maksimum yang bisa diolah model bahasa dalam satu permintaan. Cakupannya meliputi prompt, riwayat percakapan, definisi tool, gambar, dan output yang dihasilkan, termasuk token penalaran. Apa pun yang tidak muat harus dipotong, diringkas, atau dibagi ke beberapa permintaan.

[Context rot (degradasi konteks)](https://broadrouter.com/id/glossary/context-rot/)

Context rot adalah hilangnya akurasi dan keandalan secara bertahap yang ditunjukkan model bahasa saat inputnya makin panjang, bahkan ketika tugasnya tetap sama dan input masih jauh di dalam context window. Istilah ini dipopulerkan oleh laporan teknis Chroma tahun 2025 yang menguji 18 model.

[Lost in the middle](https://broadrouter.com/id/glossary/lost-in-the-middle/)

Lost in the middle adalah kecenderungan model bahasa yang teramati untuk paling baik memakai informasi relevan saat informasi itu muncul di dekat awal atau akhir input panjang, dan paling buruk saat berada di tengah. Istilah ini berasal dari studi Liu dkk. tahun 2023.

[Token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/)

Token input adalah token yang dibaca model bahasa dalam sebuah permintaan, termasuk system prompt, riwayat percakapan, definisi tool, dan gambar. Token output adalah token yang dihasilkannya sebagai balasan, termasuk penalaran. API LLM biasanya menghargainya secara terpisah, dan output biasanya lebih mahal.

## Pertanyaan umum

### Kalau model punya window 1M, kenapa konteks masih perlu dikelola?

Karena biaya, latensi, dan akurasi semuanya berubah saat prompt membesar. Prompt panjang butuh waktu proses lebih lama, lebih mahal per giliran pada kunci berbayar per token, dan riset menunjukkan model kurang andal memakai informasi di bagian tengah input yang panjang.

### Bagaimana cara tahu agent saya kena cache atau tidak?

Jika model melaporkannya, blok usage berisi prompt\_tokens\_details.cached\_tokens. Bagi angka itu dengan prompt\_tokens untuk setiap permintaan dan catat rasionya.

### Apakah compaction penting di paket harga tetap?

Tidak untuk tagihan, karena sesi paket tidak punya meteran token. Tetapi tetap penting untuk kecepatan dan kualitas jawaban di sesi yang sangat panjang.

## Baca juga

-   [Kapan context window 1M token sepadan (dan kapan tidak)](https://broadrouter.com/id/blog/million-token-context-window-guide/)
-   [Token input cache: cara memangkas tagihan API LLM](https://broadrouter.com/id/blog/cached-input-tokens-explained/)
-   [10 cara menekan biaya LLM agen coding, lengkap dengan estimasi hemat](https://broadrouter.com/id/blog/cut-coding-agent-llm-costs/)
-   [Cara menjalankan coding agent semalaman tanpa pengawasan dengan aman](https://broadrouter.com/id/blog/overnight-coding-agent-runs/)
-   [Berapa biaya sekali jalan agen coding AI: langkah, konteks, caching](https://broadrouter.com/id/blog/ai-coding-agent-run-cost/)
-   [Claude Code dengan model terbuka: proxy, endpoint native, dan batasnya](https://broadrouter.com/id/blog/claude-code-with-openai-compatible-models/)
-   [Panduan: Streaming chat completions dan menangani koneksi terputus](https://broadrouter.com/id/guides/streaming-chat-completions/)
-   [Panduan: Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)
-   [Panduan: Cara kerja paket API LLM unlimited untuk agen](https://broadrouter.com/id/guides/unlimited-llm-api-sessions/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-long-running-agent-context-management&utm_content=page-cta) ·

**Sumber**

-   [Referensi API BroadNet Inference, token penalaran dan token cache (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-long-running-agent-context-management&utm_content=sources)
-   [Liu dkk., Lost in the Middle: How Language Models Use Long Contexts (arXiv)](https://arxiv.org/abs/2307.03172)
-   [Dokumentasi opencode, compaction](https://opencode.ai/docs/compaction/)
