BroadRouter

Token penaakulan: mengapa output yang dibayar melebihi yang dilihat

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan · Dikemas kini

Model penaakulan menulis proses berfikir tersembunyi sebelum jawapannya, dan token penaakulan itu dibilkan pada harga output. Balasan 200 token boleh membawa 1,000 token pemikiran atau lebih. Di BroadNet Inference, DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B melakukan penaakulan. Kurangkan kos dengan reasoning_effort ditetapkan kepada low, max_tokens yang munasabah, dan model bukan penaakulan untuk langkah mudah.

Anda menghantar soalan pendek, mendapat jawapan dua baris, dan bil menunjukkan 1,400 token output. Tiada apa yang salah. Model berfikir sebelum menjawab, dan proses berfikir itu dibilkan. Catatan ini menerangkan cara token penaakulan dikira, kosnya pada setiap model, dan empat tetapan yang mengawalnya.

Apakah token penaakulan?

Model penaakulan menulis rantaian pemikiran dalaman, kemudian jawapan yang kelihatan. Kedua-duanya keluar daripada penjanaan yang sama. Proses berfikir terdiri daripada token penaakulan. Dalam respons chat-completions standard, jawapan berada dalam message.content, dan proses berfikir dikira, bukan ditunjukkan.

Panduan penaakulan OpenAI menyatakan peraturannya dengan jelas: token penaakulan “still occupy space in the model’s context window and are billed as” token output (Terjemahan: masih mengambil ruang dalam tetingkap konteks model dan dibilkan sebagai token output). Penyedia lain mengikut peraturan yang sama.

Bagaimanakah token penaakulan dibilkan?

Ia sebahagian daripada completion_tokens, jadi ia dikenakan harga output. Output ialah meter yang mahal:

Model Menaakul dahulu Output setiap 1M Input setiap 1M
DeepSeek V4.1 Flash Ya $0.52 $0.175
GLM 5.3 Ya $3.46 $0.78
Qwen3.8 27B Ya $2.17 $0.175
Gemma 4 VL 26B Tidak disenaraikan $0.22 $0.10

Harga ialah harga BroadNet Inference, disegerakkan 2026-11-14. Caj hos lain untuk model yang sama ada dalam jadual harga API LLM, contohnya GLM 5.3 merentas penyedia.

Berapa banyakkah penaakulan boleh menambah bil?

Ambil pengelas yang memulangkan label satu perkataan, kira-kira 10 token yang kelihatan. Jika model berfikir selama 1,000 token dahulu, 99% bil output ialah proses berfikir.

Pada skala besar: 1,000 balasan dengan 1,000 token penaakulan setiap satu menambah 1M token output. Itu berkos $0.52 pada DeepSeek V4.1 Flash, $2.17 pada Qwen3.8 27B dan $3.46 pada GLM 5.3, di atas jawapan yang kelihatan.

Jumlahnya berbeza mengikut tugasan. Matematik yang sukar atau penaakulan kod berbilang fail boleh mencecah ribuan token. Ucapan salam mungkin hampir tidak memerlukannya. Itulah sebabnya anda mengukur.

Bagaimanakah anda mengukur token penaakulan?

Blok usage melaporkannya apabila model memberikan kiraannya:

r = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=[{"role": "user", "content": "Is 'refund my order' a billing or shipping intent?"}],
    max_tokens=1000,
)
u = r.usage
reasoning = (u.completion_tokens_details.reasoning_tokens or 0) if u.completion_tokens_details else 0
print("output:", u.completion_tokens, "reasoning:", reasoning,
      "share:", round(reasoning / max(u.completion_tokens, 1), 2))

Rekodkan ini mengikut jenis tugasan selama seminggu. Biasanya anda akan dapati beberapa tugasan bertanggungjawab bagi sebahagian besar proses berfikir. Semasa penstriman, tambah stream_options: {"include_usage": true}; kiraan tiba dalam chunk terakhir (panduan penstriman).

Empat cara mengawal kos penaakulan

1. Rendahkan reasoning_effort untuk tugasan mudah

reasoning_effort meminta model berfikir lebih sedikit. Panduan BroadNet menggunakan low untuk klasifikasi, pengekstrakan dan pemformatan:

client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", reasoning_effort="low",
                               max_tokens=1000, messages=msgs)

OpenAI mendokumenkan julat nilai yang lebih luas pada modelnya sendiri, daripada none dan minimal, melalui low, medium dan high, hingga xhigh dan max, dan menyatakan bahawa “some models support only a subset” (Terjemahan: sesetengah model hanya menyokong sebahagian daripadanya). Semak nilai yang diterima oleh model anda, dan bandingkan token output sebelum dan selepas pada sampel yang sama.

2. Tetapkan max_tokens sebagai siling, bukan untuk menyekat

max_tokens mengehadkan penaakulan dan jawapan bersama-sama. Ia menghentikan balasan yang tidak terkawal, tetapi jika anda menetapkannya terlalu rendah, model boleh menghabiskan keseluruhan bajet untuk berfikir dan memulangkan jawapan kosong dengan finish_reason: "length". Anda membayar proses berfikir itu dan masih perlu mencuba semula. BroadNet mencadangkan 1,000 token atau lebih untuk model penaakulan. Mengapa model penaakulan memulangkan jawapan kosong.

3. Halakan langkah mudah kepada model yang tidak menaakul

Bukan setiap langkah memerlukan pemikiran. Memformat JSON, menamakan semula medan atau menjawab carian soalan lazim boleh dihantar kepada Gemma 4 VL 26B pada $0.22 setiap 1M output, yang tidak disenaraikan BroadNet sebagai model penaakulan. Simpan model penaakulan untuk perancangan, nyahpepijat dan jawapan berbilang langkah. Uji kualiti pada sampel anda sendiri sebelum menghala.

4. Buang “think step by step” daripada prompt

Model penaakulan sudah berfikir. Meminta penaakulan langkah demi langkah yang kelihatan di atas itu membuatkan model menulisnya dua kali: sekali tersembunyi, sekali dalam jawapan. Minta jawapan akhir dalam format yang anda perlukan.

Tetapan mana untuk tugasan mana?

Tugasan Usaha penaakulan max_tokens Cadangan model
Klasifikasi, penghalaan low 1,000 Gemma 4 VL 26B atau DeepSeek V4.1 Flash
Pengekstrakan ke JSON low 1,000 hingga 2,000 DeepSeek V4.1 Flash, GLM 5.3 untuk output berstruktur
Merangka balasan pelanggan low atau lalai 2,000 DeepSeek V4.1 Flash
Nyahpepijat, perancangan, semakan kod lalai atau lebih tinggi 8,000 atau tidak ditetapkan DeepSeek V4.1 Flash atau GLM 5.3

Ini titik permulaan. Ukur token output dan kualiti pada data anda sendiri, kemudian laraskan.

Bilakah penaakulan berhenti menambah kos?

Pada pelan kadar tetap. Pelan Full Moon BroadNet berharga $60 sebulan setiap sesi untuk DeepSeek V4.1 Flash tanpa had dan tanpa meter token, jadi token penaakulan tiada kos setiap token. Ia tetap mengambil masa: pada kelajuan biasa kira-kira 100 token sesaat, setiap token penaakulan dijana sebelum jawapan bermula, jadi penaakulan yang panjang melambatkan jawapan. Bilakah pelan kadar tetap lebih murah daripada setiap token, dan sepuluh lagi cara mengurangkan bil ejen pengekodan.

Di manakah BroadNet Inference sesuai

BroadNet menjalankan tiga model penaakulan dan satu model tanpa penaakulan tersenarai pada satu kunci serasi OpenAI di https://inference.broadnet.ai/v1, dengan penggunaan dilaporkan dalam setiap respons. Ini memudahkan penghalaan mengikut tugasan dan pengukuran perbezaannya. Jika anda memerlukan model tertutup dengan ringkasan penaakulan yang kelihatan, gunakan API vendor itu; katalog chat BroadNet tiada model tertutup. Lihat pelan.

Soalan lazim

Adakah token penaakulan dicaj sebagai input atau output?

Sebagai output. Ia dijana oleh model, dilaporkan dalam completion_tokens dan dibilkan pada harga output setiap 1M token.

Bolehkah saya mematikan penaakulan sepenuhnya?

Bergantung pada model. OpenAI mendokumenkan nilai usaha yang boleh termasuk none atau minimal pada sesetengah model. Di BroadNet, tetapkan reasoning_effort kepada low, atau gunakan Gemma 4 VL 26B, yang tidak disenaraikan BroadNet sebagai model penaakulan.

Adakah max_tokens yang rendah menjimatkan wang pada model penaakulan?

Sebahagian sahaja. Ia mengehadkan bil, tetapi jika penaakulan menggunakan keseluruhan bajet, anda membayar untuk proses berfikir dan mendapat jawapan kosong. Sebaliknya, rendahkan usaha dan kekalkan max_tokens pada 1,000 atau lebih.

Adakah saya nampak teks penaakulan?

Biasanya tidak dalam medan content. Blok usage melaporkan berapa banyak token penaakulan yang digunakan, apabila model melaporkannya, dalam completion_tokens_details.reasoning_tokens.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity