BroadRouter
Mulakan

Bajet token ejen: ke mana token gelung ejen pergi

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan

Gelung ejen menghantar semula seluruh konteksnya pada setiap panggilan: prompt sistem, definisi alat, sejarah perbualan, kandungan fail dan output alat, serta langkah baharu. Input biasanya berlipat kali ganda lebih besar daripada output. Log prompt_tokens, cached_tokens dan completion_tokens setiap panggilan, cari blok berulang yang terbesar, kemudian kurangkan alat, hadkan output alat dan mulakan semula sesi yang panjang.

Chat berkos apa yang anda taip serta apa yang ditulis oleh model. Ejen berkos jauh lebih tinggi, kerana ia memanggil model berpuluh-puluh kali dan menghantar semula hampir semuanya setiap kali. Jika anda mahu mengurangkan kos itu, atau sekadar berhenti mencecah tetingkap konteks, anda perlu tahu bahagian mana dalam setiap permintaan yang besar. Catatan ini memecahkan gelung ejen kepada lima bahagian, menunjukkan cara mengukur setiap satu daripada data penggunaan API sendiri, dan menyenaraikan apa yang perlu dipangkas dahulu.

Mengapakah ejen menghantar semula semuanya?

API chat-completions tidak menyimpan keadaan. Model tidak mengingati apa-apa antara panggilan, jadi ejen menghantar konteks penuh pada setiap langkah. Tugas 40 langkah di mana setiap panggilan membawa 30,000 token membaca 1.2 juta token input untuk menghasilkan mungkin 40,000 token output. Nisbah 30 berbanding 1 itulah sebabnya token input dan harga cache-nya mendominasi bil ejen.

Ke manakah token pergi?

Bahagian Apa itu Berulang setiap panggilan? Pemacu biasa
Prompt sistem Arahan ejen, fail peraturan, nota projek Ya Fail peraturan yang panjang
Skema alat Nama, penerangan dan JSON Schema setiap alat Ya Alat terbina dalam serta setiap pelayan MCP
Sejarah Mesej, panggilan alat dan hasil terdahulu Ya, dan bertambah Sesi yang panjang
Bacaan fail dan output alat Kandungan fail, log ujian, hasil carian Ya, sehingga dibuang Membaca fail penuh, arahan yang verbose
Output Jawapan yang kelihatan, panggilan alat dan penaakulan Tidak Usaha penaakulan, menulis semula fail penuh

Dua yang pertama ialah overhed tetap. Cursor menulis pada September 2026 bahawa prompt sistem dan definisi alat “had become one of the largest sources of spend that we fully control” (Terjemahan: telah menjadi antara sumber perbelanjaan terbesar yang kami kawal sepenuhnya), dan menggelar bacaan fail “another large source of token spend” (Terjemahan: satu lagi sumber besar perbelanjaan token). Perubahannya, termasuk memotong kira-kira dua pertiga prompt sistem dan memuatkan alat yang digunakan dalam kurang daripada 20% perbualan hanya apabila perlu, mengurangkan kos token pengguna sebanyak 7%. Pasukan VS Code GitHub menamakan dua kos yang sama untuk Copilot: awalan prompt yang berulang dan overhed definisi alat.

Bagaimanakah anda mengukurnya?

Anda tidak memerlukan produk pengesanan. Blok penggunaan pada setiap respons sudah memadai.

  1. Hidupkan penggunaan. Untuk streaming, tambah stream_options: {"include_usage": true}; penggunaan tiba dalam cebisan terakhir. Lihat streaming.
  2. Log setiap panggilan: nombor langkah, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens dan, apabila dilaporkan, completion_tokens_details.reasoning_tokens.
  3. Ukur overhed tetap sekali. Hantar satu permintaan dengan hanya prompt sistem dan alat, serta perkataan “hi”. prompt_tokens-nya ialah lantai anda.
  4. Ukur output sesuatu alat. Kira aksara setiap hasil alat sebelum anda menambahkannya. Membahagikan dengan empat memberikan anggaran kasar bilangan token bahasa Inggeris; tampal sampel ke dalam pengira token percuma untuk angka tepat pada tokenizer model anda.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

Plot prompt_tokens mengikut langkah. Cerun yang tetap bermakna sejarah sedang bertambah. Lonjakan mendadak bermakna fail atau log besar telah masuk ke konteks. Lantai yang tinggi bermakna terlalu banyak alat.

Dalam Aider, /tokens melaporkan apa yang ada dalam konteks semasa, dan /drop membuang fail daripadanya.

Apakah yang patut dipangkas dahulu?

Susun mengikut saiz didarab ulangan, bukan mengikut apa yang paling mudah:

  1. Alat yang tidak digunakan. Setiap skema alat ikut serta dalam setiap panggilan. Panduan OpenAI menyatakan definisi fungsi “are billed as input tokens” (Terjemahan: dibilkan sebagai token input) dan mencadangkan kurang daripada 20 fungsi pada permulaan giliran, sebagai peraturan longgar. Lumpuhkan pelayan MCP yang tidak anda gunakan dalam tugas ini; dokumentasi opencode menyatakan dengan jelas bahawa alat MCP menggunakan konteks model.
  2. Output alat. Hadkan output arahan (200 baris terakhir log ujian, bukan 20,000). Pulangkan hasil carian sebagai laluan dan nombor baris, kemudian baca hanya apa yang diperlukan.
  3. Bacaan fail. Baca fungsi, bukan fail. Peta repo Aider menggunakan bajet lalai 1k token (--map-tokens) dan bukan fail penuh.
  4. Sejarah. Mulakan tugas baharu bagi setiap perubahan. Apabila sesi mesti diteruskan, gantikan giliran lama dengan ringkasan pendek.
  5. Prompt sistem. Buang peraturan yang sudah dipatuhi model. Kekalkan yang selebihnya stabil.
  6. Output. Minta diff, bukan fail penuh. Tetapkan reasoning_effort kepada low untuk langkah rutin. Token penaakulan dibilkan sebagai output.

Mengapakah awalan perlu dikekalkan stabil?

Penyedia membuat cache bagi awalan yang berulang dan membilkannya pada kadar lebih rendah. Di BroadNet Inference, DeepSeek V4.1 Flash membilkan input cache pada $0.0055 setiap 1M token dan input baharu pada $0.175. GLM 5.3 membilkan $0.173 berbanding $0.78. Cap masa dalam prompt sistem, atau alat yang disenaraikan dalam susunan berbeza setiap panggilan, memecahkan cache dari titik itu. Letakkan bahagian stabil dahulu, dalam susunan tetap, dan bahagian yang berubah di hujung. Lebih lanjut dalam penjelasan token input cache; kalkulator prompt caching menunjukkan penjimatan bagi sesuatu kadar hit.

Cache merendahkan harga awalan, tetapi bukan saiznya. Token cache masih memenuhi tetingkap konteks dan masih mengambil masa untuk diproses.

Bagaimanakah rupa contoh bajet ejen?

Ambil tugas 40 langkah di atas, dengan 80% input di-cache:

Bahagian Token Dibilkan pada
Input baharu 240,000 Harga input
Input cache 960,000 Harga input cache
Output termasuk penaakulan 40,000 Harga output

Memotong 5,000 token skema alat yang tidak digunakan daripada setiap panggilan membuang 200,000 token input daripada tugas ini, kira-kira satu perenam daripada jumlah, tanpa mengubah tingkah laku ejen. Untuk tuil kos selain memangkas, seperti pilihan model, cache dan pelan kadar tetap, lihat 10 cara mengurangkan kos LLM ejen pengekodan. Untuk persediaan berbilang ejen, darabkan dengan bilangan ejen; lihat kos sebenar persediaan berbilang ejen. Untuk memodelkan gelung anda sendiri langkah demi langkah, gunakan penganggar kos larian ejen.

Di manakah tempat BroadNet Inference

BroadNet Inference memulangkan token prompt dan completion dalam blok penggunaan, serta token cache dan penaakulan apabila model melaporkannya, jadi pengukuran di atas berfungsi seperti yang ditulis. Harga input cache yang rendah pada DeepSeek V4.1 Flash menguntungkan awalan yang stabil. Jika memangkas tidak berbaloi dengan masa anda, pelan tanpa had membuang meter token untuk DeepSeek V4.1 Flash pada $60 sebulan setiap sesi; tetingkap konteks masih terpakai, dan konteks yang ramping masih berjalan lebih pantas. Pelan ada di inference.broadnet.ai/plans.

Soalan lazim

Mengapakah ejen pengekodan saya menggunakan begitu banyak token input?

Kerana API tidak menyimpan keadaan. Setiap panggilan menghantar semula prompt sistem, setiap definisi alat, perbualan setakat ini dan semua kandungan fail yang masih dalam konteks. Sesi yang panjang mendarabkannya dengan bilangan langkah.

Bagaimanakah saya melihat berapa banyak token yang digunakan setiap langkah ejen?

Baca blok penggunaan setiap respons. Dengan streaming, tetapkan include_usage dalam stream_options kepada true dan baca cebisan terakhir. Log prompt_tokens, prompt_tokens_details.cached_tokens dan completion_tokens bersama nombor langkah.

Adakah definisi alat dikira sebagai token input?

Ya. Senarai alat ialah sebahagian daripada prompt dan dihantar pada setiap panggilan. Pelayan MCP menambah alat mereka ke senarai itu, sebab itulah dokumentasi opencode meminta anda menambah hanya pelayan yang diperlukan.

Adakah prompt caching menyelesaikan masalah ini?

Ia mengurangkan harga awalan berulang, bukan saiznya. Input cache masih memenuhi tetingkap konteks. Di BroadNet, DeepSeek V4.1 Flash membilkan input cache pada $0.0055 setiap 1M token berbanding $0.175 untuk input baharu.

Adakah token penaakulan sebahagian daripada bajet?

Ya, di sisi output. Model penaakulan mengira pemikiran dalam max_tokens dan membilkannya sebagai output secara bayar ikut guna. Tetapkan reasoning_effort kepada low untuk langkah rutin.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity