---
title: "Ke mana token agen AI pergi, dan cara memangkasnya | BroadRouter"
description: "System prompt, skema tool, pembacaan file, riwayat, dan penalaran: cara loop agen memakai token, cara mengukur tiap bagian, dan apa yang dipangkas lebih dulu."
url: https://broadrouter.com/id/blog/agent-token-budget/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/agent-token-budget/) (diperbarui 2026-11-14).

# Anggaran token agen: ke mana token loop agen pergi

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan 2026-11-14

Loop agen mengirim ulang seluruh konteksnya di setiap panggilan: system prompt, definisi tool, riwayat percakapan, isi file, dan output tool, plus langkah baru. Input biasanya berlipat-lipat lebih besar daripada output. Catat prompt\_tokens, cached\_tokens, dan completion\_tokens per panggilan, temukan blok berulang terbesar, lalu pangkas tool, batasi output tool, dan mulai ulang sesi yang panjang.

## Poin penting

-   Setiap panggilan model mengirim ulang seluruh konteks. Tugas 40 langkah dengan 30.000 token per panggilan membaca 1,2 juta token input.
-   Lima kelompok: system prompt, skema tool, riwayat, pembacaan file dan output tool, serta output termasuk penalaran.
-   Ukur per panggilan dari blok usage: prompt\_tokens, prompt\_tokens\_details.cached\_tokens, dan completion\_tokens.
-   Cursor melaporkan bahwa system prompt dan definisi tool-nya telah menjadi salah satu sumber pengeluaran terbesar yang sepenuhnya berada di bawah kendalinya.
-   Pangkas dengan urutan ini: tool yang tidak terpakai, output tool yang kebesaran, riwayat basi, lalu system prompt. Jaga prefiks yang stabil tetap identik agar tetap ter-cache.

**Di halaman ini**

1.  Kenapa agen mengirim ulang semuanya?
2.  Ke mana token pergi?
3.  Bagaimana cara mengukurnya?
4.  Apa yang harus dipangkas lebih dulu?
5.  Kenapa prefiks harus tetap stabil?
6.  Seperti apa contoh hitungan anggaran agen?
7.  Di mana posisi BroadNet Inference?

Chat berbiaya sebanyak yang Anda ketik plus yang ditulis model. Agen jauh lebih mahal, karena memanggil model puluhan kali dan mengirim ulang hampir semuanya setiap kali. Jika Anda ingin memangkas biaya itu, atau sekadar berhenti mentok di [context window](https://broadrouter.com/id/glossary/context-window/), Anda perlu tahu bagian mana dari setiap permintaan yang besar. Tulisan ini membagi loop agen menjadi lima kelompok, menunjukkan cara mengukur masing-masing dari data usage milik API itu sendiri, dan mencantumkan apa yang perlu dipangkas lebih dulu.

## Kenapa agen mengirim ulang semuanya?

API chat completions bersifat stateless. Model tidak mengingat apa pun di antara panggilan, jadi agen mengirim seluruh konteks di setiap langkah. Tugas 40 langkah yang setiap panggilannya membawa 30.000 token membaca **1,2 juta token input** untuk menghasilkan mungkin 40.000 token output. Rasio 30 banding 1 itulah sebabnya [token input](https://broadrouter.com/id/glossary/input-and-output-tokens/) dan harga cache-nya mendominasi tagihan agen.

## Ke mana token pergi?

| Kelompok | Isinya | Berulang di setiap panggilan? | Pemicu umum |
| --- | --- | --- | --- |
| System prompt | Instruksi agen, file aturan, catatan proyek | Ya | File aturan yang panjang |
| Skema tool | Nama, deskripsi, dan JSON Schema setiap tool | Ya | Tool bawaan plus setiap server MCP |
| Riwayat | Pesan sebelumnya, tool call, dan hasilnya | Ya, dan terus bertambah | Sesi yang panjang |
| Pembacaan file dan output tool | Isi file, log tes, hasil pencarian | Ya, sampai dibuang | Membaca file utuh, perintah yang verbose |
| Output | Jawaban yang terlihat, tool call, dan penalaran | Tidak | Reasoning effort, menulis ulang file utuh |

Dua yang pertama adalah overhead tetap. Pada September 2026 Cursor menulis bahwa system prompt dan definisi tool “had become one of the largest sources of spend that we fully control” (Terjemahan BroadRouter: telah menjadi salah satu sumber pengeluaran terbesar yang sepenuhnya kami kendalikan), dan menyebut pembacaan file sebagai “another large source of token spend” (Terjemahan BroadRouter: sumber besar lain dari pengeluaran token). Perubahan yang dilakukannya, termasuk memangkas sekitar dua pertiga system prompt dan memuat tool yang dipakai di kurang dari 20% percakapan hanya saat dibutuhkan, memangkas biaya token pengguna sebesar 7%. Tim VS Code di GitHub menyebut dua biaya yang sama untuk Copilot: prefiks prompt yang berulang dan overhead definisi tool.

## Bagaimana cara mengukurnya?

Anda tidak butuh produk tracing. Blok usage di setiap respons sudah cukup.

1.  **Aktifkan usage.** Untuk streaming, tambahkan `stream_options: {"include_usage": true}`; data usage datang di chunk terakhir. Lihat [streaming](https://broadrouter.com/id/guides/streaming-chat-completions/).
2.  **Catat per panggilan:** nomor langkah, `prompt_tokens`, `prompt_tokens_details.cached_tokens`, `completion_tokens`, dan, jika dilaporkan, `completion_tokens_details.reasoning_tokens`.
3.  **Ukur overhead tetap sekali saja.** Kirim satu permintaan yang hanya berisi system prompt dan tool, plus kata “hi”. `prompt_tokens`\-nya adalah batas bawah Anda.
4.  **Ukur output sebuah tool.** Hitung karakter setiap hasil tool sebelum Anda menambahkannya. Membaginya dengan empat memberi perkiraan kasar jumlah token untuk teks bahasa Inggris; tempel contohnya ke [penghitung token](https://broadrouter.com/tools/token-counter/) gratis untuk angka persis pada tokenizer model Anda.

```python
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)
```

Plot `prompt_tokens` per langkah. Kemiringan yang stabil berarti riwayat terus bertambah. Lonjakan tiba-tiba berarti file atau log besar masuk ke konteks. Batas bawah yang tinggi berarti tool terlalu banyak.

Di Aider, `/tokens` melaporkan isi konteks saat ini, dan `/drop` mengeluarkan file dari konteks.

## Apa yang harus dipangkas lebih dulu?

Urutkan berdasarkan ukuran dikali jumlah pengulangan, bukan berdasarkan yang paling mudah:

1.  **Tool yang tidak terpakai.** Setiap skema tool ikut di setiap panggilan. Panduan OpenAI menyebut definisi fungsi “are billed as input tokens” (Terjemahan BroadRouter: ditagih sebagai token input) dan menyarankan kurang dari 20 fungsi di awal giliran, sebagai aturan longgar. Nonaktifkan server MCP yang tidak Anda pakai untuk tugas ini; dokumentasi opencode terang-terangan menyebut tool MCP memakan konteks model.
2.  **Output tool.** Batasi output perintah (200 baris terakhir log tes, bukan 20.000). Kembalikan hasil pencarian sebagai path dan nomor baris, lalu baca hanya yang diperlukan.
3.  **Pembacaan file.** Baca fungsinya, bukan seluruh file. Repo map Aider memakai anggaran default 1k token (`--map-tokens`) alih-alih file utuh.
4.  **Riwayat.** Mulai tugas baru untuk setiap perubahan. Jika sesi harus berlanjut, ganti giliran lama dengan ringkasan singkat.
5.  **System prompt.** Hapus aturan yang sudah dipatuhi model. Jaga sisanya tetap stabil.
6.  **Output.** Minta diff, bukan file utuh. Set `reasoning_effort` ke `low` untuk langkah rutin. [Token penalaran](https://broadrouter.com/id/glossary/reasoning-tokens/) ditagih sebagai output.

## Kenapa prefiks harus tetap stabil?

Penyedia meng-cache prefiks yang berulang dan menagihnya dengan tarif lebih rendah. Di BroadNet Inference, [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/) menagih [input cache](https://broadrouter.com/id/glossary/cached-input-tokens/) $0.0055 per 1 juta token dan input baru $0.175. [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/) menagih $0.173 dibandingkan $0.78. Timestamp di system prompt, atau tool yang urutannya berbeda di setiap panggilan, merusak cache mulai titik itu. Taruh bagian yang stabil di depan dengan urutan tetap, dan bagian yang berubah di akhir. Selengkapnya di [penjelasan token input cache](https://broadrouter.com/id/blog/cached-input-tokens-explained/); [kalkulator prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/) menunjukkan berapa yang dihemat oleh hit rate tertentu.

Caching menurunkan harga prefiks, tetapi tidak ukurannya. Token yang ter-cache tetap mengisi context window dan tetap butuh waktu untuk diproses.

## Seperti apa contoh hitungan anggaran agen?

Ambil tugas 40 langkah di atas, dengan 80% input ter-cache:

| Bagian | Token | Ditagih dengan |
| --- | --- | --- |
| Input baru | 240.000 | Harga input |
| Input cache | 960.000 | Harga input cache |
| Output termasuk penalaran | 40.000 | Harga output |

Memangkas 5.000 token skema tool yang tidak terpakai dari setiap panggilan menghapus 200.000 token input dari tugas ini, sekitar seperenam dari total, tanpa mengubah perilaku agen. Untuk tuas biaya di luar pemangkasan, seperti pilihan model, caching, dan paket harga tetap, lihat [10 cara menekan biaya LLM agen coding](https://broadrouter.com/id/blog/cut-coding-agent-llm-costs/). Untuk setup multi-agent, kalikan dengan jumlah agen; lihat [berapa biaya setup multi-agent](https://broadrouter.com/id/blog/multi-agent-cost/). Untuk memodelkan loop Anda sendiri langkah demi langkah, pakai [estimator biaya run agen](https://broadrouter.com/tools/agent-run-cost-estimator/).

## Di mana posisi BroadNet Inference?

BroadNet Inference mengembalikan token prompt dan completion di blok usage, plus token cache dan token penalaran jika model melaporkannya, jadi pengukuran di atas bisa dipakai apa adanya. Harga input cache yang rendah di DeepSeek V4.1 Flash menguntungkan prefiks yang stabil. Jika memangkas tidak sepadan dengan waktu Anda, paket unlimited menghapus meteran token untuk DeepSeek V4.1 Flash dengan harga $60 per bulan per sesi; context window tetap berlaku, dan konteks yang ramping tetap berjalan lebih cepat. Paketnya ada di [inference.broadnet.ai/plans](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-agent-token-budget&utm_content=body).

Alat gratis untuk topik ini (bahasa Inggris)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[System prompt (prompt sistem)](https://broadrouter.com/id/glossary/system-prompt/)

System prompt adalah teks instruksi yang dikirim aplikasi ke model bahasa sebelum percakapan, biasanya sebagai pesan dengan peran system atau developer. System prompt menetapkan peran, aturan, gaya bahasa, dan format output model, dan model dirancang untuk mengikutinya di atas pesan pengguna yang bertentangan.

[Token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/)

Token input adalah token yang dibaca model bahasa dalam sebuah permintaan, termasuk system prompt, riwayat percakapan, definisi tool, dan gambar. Token output adalah token yang dihasilkannya sebagai balasan, termasuk penalaran. API LLM biasanya menghargainya secara terpisah, dan output biasanya lebih mahal.

[Token input cache (cached input tokens)](https://broadrouter.com/id/glossary/cached-input-tokens/)

Token input cache adalah token prompt yang baru saja diproses penyedia LLM dan bisa dipakai ulang dari cache alih-alih dihitung lagi, biasanya prefiks berulang seperti system prompt atau dokumen. Penyedia menagihnya dengan tarif lebih rendah daripada token input baru.

[Context window (jendela konteks)](https://broadrouter.com/id/glossary/context-window/)

Context window adalah jumlah token maksimum yang bisa diolah model bahasa dalam satu permintaan. Cakupannya meliputi prompt, riwayat percakapan, definisi tool, gambar, dan output yang dihasilkan, termasuk token penalaran. Apa pun yang tidak muat harus dipotong, diringkas, atau dibagi ke beberapa permintaan.

[MCP (Model Context Protocol)](https://broadrouter.com/id/glossary/mcp/)

MCP (Model Context Protocol) adalah protokol terbuka berbasis JSON-RPC 2.0 yang menstandarkan cara aplikasi LLM terhubung ke tool dan data eksternal. Server MCP menyediakan tools, resources, dan prompts; client MCP di dalam aplikasi host menemukannya dan meneruskan tool call dari model ke server.

[Streaming (respons streaming)](https://broadrouter.com/id/glossary/streaming/)

Streaming adalah cara mengembalikan respons model bahasa dalam potongan-potongan kecil selagi masih dihasilkan, bukan sebagai satu balasan utuh di akhir. API yang kompatibel dengan OpenAI melakukan streaming lewat server-sent events jika permintaan mengatur stream ke true.

[Token penalaran (reasoning tokens)](https://broadrouter.com/id/glossary/reasoning-tokens/)

Token penalaran adalah token yang dihasilkan model penalaran untuk mengerjakan suatu masalah sebelum menulis jawaban yang terlihat. Token ini biasanya ditagih sebagai token output, dihitung dalam batas output dan context window, dan bisa disembunyikan atau diringkas oleh API.

## Pertanyaan umum

### Kenapa agen coding saya memakai begitu banyak token input?

Karena API-nya stateless. Setiap panggilan mengirim ulang system prompt, setiap definisi tool, percakapan sejauh ini, dan semua isi file yang masih ada di konteks. Sesi yang panjang melipatgandakannya sebanyak jumlah langkah.

### Bagaimana melihat berapa token yang dipakai setiap langkah agen?

Baca blok usage di setiap respons. Dengan streaming, set include\_usage di stream\_options ke true lalu baca chunk terakhir. Catat prompt\_tokens, prompt\_tokens\_details.cached\_tokens, dan completion\_tokens beserta nomor langkahnya.

### Apakah definisi tool dihitung sebagai token input?

Ya. Daftar tool adalah bagian dari prompt dan dikirim di setiap panggilan. Server MCP menambahkan tool-nya ke daftar itu, itulah sebabnya dokumentasi opencode menyarankan hanya menambahkan server yang Anda butuhkan.

### Apakah prompt caching menyelesaikan masalahnya?

Caching menurunkan harga prefiks yang berulang, bukan ukurannya. Input cache tetap mengisi context window. Di BroadNet, DeepSeek V4.1 Flash menagih input cache $0.0055 per 1 juta token, dibandingkan $0.175 untuk input baru.

### Apakah token penalaran termasuk dalam anggaran?

Ya, di sisi output. Model penalaran menghitung proses berpikir ke max\_tokens dan menagihnya sebagai output pada bayar sesuai pemakaian. Set reasoning\_effort ke low untuk langkah rutin.

## Baca juga

-   [OpenClaw dan Hermes Agent dengan model murah: setup dan hitungan token](https://broadrouter.com/id/blog/openclaw-hermes-agent-cheap-model/)
-   [Token input cache: cara memangkas tagihan API LLM](https://broadrouter.com/id/blog/cached-input-tokens-explained/)
-   [Biaya sebenarnya setup multi-agent: per token vs sesi harga tetap](https://broadrouter.com/id/blog/multi-agent-cost/)
-   [Model terbuka terbaik untuk agen coding: tools, konteks, dan biaya](https://broadrouter.com/id/blog/best-open-model-for-coding-agents/)
-   [API LLM harga tetap vs bayar per token: hitungan titik impas](https://broadrouter.com/id/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [Mengurangi token prompt: hasil terukur untuk system prompt, tool, data](https://broadrouter.com/id/blog/reduce-prompt-tokens/)
-   [Berapa biaya sekali jalan agen coding AI: langkah, konteks, caching](https://broadrouter.com/id/blog/ai-coding-agent-run-cost/)
-   [Claude Code dengan model terbuka: proxy, endpoint native, dan batasnya](https://broadrouter.com/id/blog/claude-code-with-openai-compatible-models/)
-   [Panduan: Streaming chat completions dan menangani koneksi terputus](https://broadrouter.com/id/guides/streaming-chat-completions/)
-   [Panduan: Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)
-   [Panduan: Menjalankan Aider dengan DeepSeek V4.1 Flash unlimited](https://broadrouter.com/id/guides/aider-unlimited-deepseek/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-agent-token-budget&utm_content=page-cta) ·

**Sumber**

-   [Cursor, efisiensi token yang ditingkatkan (23 September 2026; diakses 2026-11-14)](https://cursor.com/blog/improved-token-efficiency)
-   [Blog VS Code, meningkatkan efisiensi token di GitHub Copilot (diakses 2026-11-14)](https://code.visualstudio.com/blogs/2026/06/17/improving-token-efficiency-in-github-copilot)
-   [OpenAI, panduan function calling, kurang dari 20 fungsi (diakses 2026-11-14)](https://developers.openai.com/api/docs/guides/function-calling)
-   [Dokumentasi opencode, server MCP dan pemakaian konteks (diakses 2026-11-14)](https://opencode.ai/docs/mcp-servers/)
-   [Dokumentasi Aider, repository map dan perintah di dalam chat (diakses 2026-11-14)](https://aider.chat/docs/repomap.html)
-   [Referensi API BroadNet Inference, usage dan token cache (diakses 2026-11-14) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-agent-token-budget&utm_content=sources)
