Bil ejen pengekodan bertambah dengan cara yang tidak berlaku pada bil chat. Setiap giliran menghantar semula prompt sistem, senarai alat, fail yang telah dibaca dan perbualan setakat ini. Menjelang giliran ke-30, satu permintaan boleh membawa ratusan ribu token input, kebanyakannya ulangan. Sepuluh taktik di bawah menyasarkan ke mana token itu pergi. Setiap satu ada anggaran penjimatan dengan kiraannya, menggunakan harga BroadNet Inference yang disegerakkan pada 2026-11-14. Angka anda akan berbeza, jadi ukur sebelum dan selepas.
Ke manakah wang ejen pengekodan pergi?
Tiga meter, mengikut saiz bagi kebanyakan ejen:
- Input, dihantar semula setiap giliran. Kebanyakannya boleh di-cache.
- Output, termasuk token penaakulan yang anda tidak nampak.
- Pembaziran: cubaan semula, gelung yang tidak membawa kemajuan, dan konteks yang tidak diperlukan.
Baca prompt_tokens, prompt_tokens_details.cached_tokens dan completion_tokens untuk sehari kerja sebenar sebelum mengubah apa-apa. Ke mana token gelung ejen pergi menunjukkan cara memecahkannya.
Taktik manakah yang paling banyak menjimatkan?
| # | Taktik | Apa yang dikurangkan | Anggaran penjimatan |
|---|---|---|---|
| 1 | Kekalkan awalan prompt yang stabil | Input baharu | Bil input turun separuh atau lebih |
| 2 | Namakan fail daripada membiarkan ejen mencari | Giliran penerokaan | Kurang giliran, kurang penghantaran semula |
| 3 | Pangkas output alat | Input pada setiap giliran seterusnya | Meningkat mengikut saiz log |
| 4 | Rendahkan usaha penaakulan pada langkah rutin | Output tersembunyi | Bergantung pada campuran tugas |
| 5 | Hadkan langkah setiap tugas | Gelung terlepas kawalan | Meletakkan siling pada kes terburuk |
| 6 | Hadkan dan log cubaan semula | Permintaan berganda | Setiap cubaan semula yang dielakkan ialah satu permintaan penuh |
| 7 | Mulakan sesi baharu setiap tugas | Sejarah lapuk | Konteks lebih pendek setiap giliran |
| 8 | Hantar langkah mudah kepada model lebih murah | Harga setiap token | Besar pada langkah yang dihantar |
| 9 | Jarang meringkaskan, kerap menambah | Cache miss | Memastikan taktik 1 terus berfungsi |
| 10 | Beralih kepada pelan kadar tetap selepas titik pulang modal | Meter token | $5.40 sebulan dalam contoh kami |
1. Kekalkan awalan prompt yang stabil supaya ia di-cache
Input cache pada DeepSeek V4.1 Flash berharga $0.0055 setiap 1M; input baharu berharga $0.175, kira-kira 32 kali ganda lebih tinggi. Susun prompt sebagai prompt sistem, alat, fail, sejarah, mesej baharu. Jangan sesekali letak cap masa di bahagian atas. Cursor melaporkan pada September 2026 bahawa perubahan pada harness-nya, termasuk prompt sistem kira-kira dua pertiga lebih pendek dan alat yang dimuatkan hanya apabila perlu, mengurangkan kos token pengguna sebanyak 7%. Cara menyusun prompt supaya awalan di-cache.
Anggaran penjimatan. Ambil 1,000M token input sebulan. Pada 50% cache hit, anda membayar harga input baharu untuk 500M; pada 80%, untuk 200M. Termasuk bahagian yang di-cache, bil input turun kira-kira 56%. Cara menaikkan kadar cache anda, atau cuba angka anda sendiri dalam kalkulator prompt caching.
2. Beritahu ejen fail mana yang penting
Tugas yang kabur (“betulkan pepijat log masuk”) menyebabkan ejen mencari: menyenaraikan direktori, membuka fail, membacanya ke dalam konteks. Setiap fail yang dibukanya kemudian dihantar semula pada setiap giliran seterusnya. Namakan fail dan perubahan yang dijangka. Simpan peta projek ringkas dalam repositori yang dibaca dahulu oleh ejen.
Anggaran penjimatan. Jika fail 40,000 token dibaca pada giliran ke-3 dalam tugas 30 giliran, ia dihantar semula kira-kira 27 kali: lebih sejuta token input untuk satu fail. Tidak membacanya menjimatkan semua itu.
3. Pangkas output alat sebelum ia masuk ke konteks
Pelari ujian, log binaan dan git diff boleh memulangkan puluhan ribu token. Tunjukkan kepada ejen 100 baris terakhir log atau ujian yang gagal sahaja. Kebanyakan alat ejen membenarkan anda menetapkan had output untuk arahan.
Anggaran penjimatan. Kiraan sama seperti taktik 2: setiap token yang anda pangkas dijimatkan sekali bagi setiap giliran yang berbaki.
4. Rendahkan usaha penaakulan pada langkah rutin
DeepSeek V4.1 Flash dan GLM 5.3 berfikir sebelum menjawab, dan pemikiran itu dibilkan sebagai output. Tetapkan reasoning_effort: "low" untuk penamaan semula, pemformatan dan suntingan kecil. Kekalkan max_tokens cukup tinggi untuk selesai, jika tidak anda membayar untuk pemikiran dan mendapat balasan kosong. Kos token penaakulan.
Anggaran penjimatan. Ukur completion_tokens_details.reasoning_tokens sebelum dan selepas pada 20 tugas yang sama. Penjimatan ialah penurunan itu didarab dengan harga output ($0.52 setiap 1M).
5. Hadkan langkah setiap tugas
Ejen yang tidak dapat membetulkan ujian boleh berpusing dalam gelung selama 100 giliran, setiap satu lebih besar daripada sebelumnya. Tetapkan bilangan maksimum giliran setiap tugas, dan hentikan apabila panggilan alat yang sama berulang tiga kali. Had langkah menukar kos tanpa batas kepada kos yang terbatas.
6. Hadkan dan log cubaan semula
Permintaan yang dicuba semula ialah inferens baharu, dibilkan sekali lagi pada kunci setiap token. Cuba semula 429 dan 5xx dengan backoff dan had tetap; jangan cuba semula ralat 4xx lain seperti 400 atau 422. Ralat dan cubaan semula.
7. Mulakan sesi baharu untuk setiap tugas
Sejarah tugas lepas hanyalah beban mati untuk tugas seterusnya. Sesi baharu setiap tugas mengekalkan konteks yang kecil. Ini tidak bercanggah dengan cache: prompt sistem dan alat masih membentuk awalan dikongsi yang boleh di-cache.
8. Hantar langkah mudah kepada model yang lebih murah
Bukan setiap langkah memerlukan model yang sama. Mesej commit, baris changelog dan klasifikasi ringkas boleh dihantar kepada Gemma 4 VL 26B pada $0.10 input dan $0.22 output setiap 1M. Jika anda menggunakan GLM 5.3 untuk langkah yang banyak menggunakan alat, hantar yang selebihnya kepada DeepSeek V4.1 Flash: output GLM 5.3 berharga kira-kira 6.7 kali ganda lebih tinggi. GLM 5.3 vs DeepSeek V4.1 Flash.
Awas. Ukur kos setiap tugas yang selesai. Model yang lebih murah tetapi memerlukan dua kali ganda giliran boleh berkos lebih tinggi.
9. Jarang meringkaskan, dan tambah selebihnya
Apabila ejen memampatkan sejarahnya, ia menulis semula prompt dan cache bermula semula. Ringkaskan hanya apabila konteks hampir mencecah hadnya, dalam satu langkah besar, kemudian teruskan menambah. Ini memastikan taktik 1 terus berfungsi.
10. Beralih kepada pelan kadar tetap apabila anda melepasi titik pulang modal
Pengebilan setiap token menguntungkan penggunaan kecil. Ejen sepenuh masa bukan penggunaan kecil. Dalam contoh kiraan BroadNet, ejen pengekodan sepenuh masa (1,000M input pada 80% cache, 50M output) berkos $65.40 sebulan mengikut token; ejen yang sentiasa hidup berkos $196.20. Sesi Full Moon ialah $60 sebulan tanpa meter token, satu permintaan pada satu masa. Pada tahap itu, taktik 1 hingga 9 masih menjimatkan masa, tetapi bukan lagi wang. Semak volum anda sendiri dengan kalkulator kadar tetap vs setiap token, atau baca kiraan titik pulang modal dan menjalankan ejen selari pada kadar tetap.
Bagaimanakah anda mengukur sama ada sesuatu taktik berkesan?
- Pilih 20 tugas yang mewakili daripada backlog anda.
- Jalankannya dengan persediaan semasa dan log token setiap tugas.
- Gunakan satu taktik pada satu masa dan jalankan semula.
- Bandingkan kos setiap tugas yang selesai, bukan kos setiap permintaan.
Untuk aplikasi yang bukan ejen pengekodan, tuil yang sama dalam susunan umum ada dalam cara mengurangkan kos API LLM.
Panduan persediaan untuk ejen biasa: Aider, Cline, Zoo Code, fork Roo Code yang kini sudah ditutup dan OpenCode.
Di manakah tempat BroadNet Inference
BroadNet memberi ejen pengekodan kadar input cache yang murah pada DeepSeek V4.1 Flash dan, untuk penggunaan berat, sesi tanpa had dari $60 sebulan, pada endpoint serasi OpenAI yang sudah disokong oleh ejen-ejen ini. Ia tidak menjalankan model terkehadapan tertutup, jadi jika ejen anda memerlukan satu untuk langkah paling sukar, kekalkan model itu pada vendornya sendiri dan hantar sebahagian besar giliran ke sini. Lihat pelan.
