BroadRouter

Token penalaran: mengapa Anda membayar output lebih dari yang terlihat

Oleh tim BroadNet Inference · 4 menit baca · Dipublikasikan · Diperbarui

Model penalaran menulis proses berpikir tersembunyi sebelum jawabannya, dan token penalaran itu ditagih dengan harga output. Balasan 200 token bisa membawa 1.000 token atau lebih proses berpikir. Di BroadNet Inference, DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B melakukan penalaran. Turunkan biayanya dengan reasoning_effort low, max_tokens yang wajar, dan model non-penalaran untuk langkah sederhana.

Anda mengirim pertanyaan singkat, mendapat jawaban dua baris, dan tagihannya menunjukkan 1.400 token output. Tidak ada yang salah. Model berpikir sebelum menjawab, dan proses berpikir itu ditagih. Artikel ini menjelaskan cara token penalaran dihitung, berapa biayanya di setiap model, dan empat pengaturan yang mengendalikannya.

Apa itu token penalaran?

Model penalaran menulis rantai pemikiran internal, lalu jawaban yang terlihat. Keduanya keluar dari proses generasi yang sama. Proses berpikir itu terdiri dari token penalaran. Dalam respons chat completions standar, jawaban ada di message.content, sedangkan proses berpikirnya dihitung, tetapi tidak ditampilkan.

Panduan penalaran OpenAI menyatakan aturannya dengan jelas: token penalaran “still occupy space in the model’s context window and are billed as” (Terjemahan BroadRouter: “tetap memakan ruang di context window model dan ditagih sebagai”) token output. Penyedia lain mengikuti aturan yang sama.

Bagaimana token penalaran ditagih?

Token ini bagian dari completion_tokens, jadi dikenai harga output. Output adalah meteran yang mahal:

Model Bernalar dulu Output per 1 juta Input per 1 juta
DeepSeek V4.1 Flash Ya $0.52 $0.175
GLM 5.3 Ya $3.46 $0.78
Qwen3.8 27B Ya $2.17 $0.175
Gemma 4 VL 26B Tidak dicantumkan $0.22 $0.10

Harga adalah harga BroadNet Inference, disinkronkan 2026-11-14. Berapa yang ditagih host lain untuk model yang sama ada di tabel harga API LLM, misalnya GLM 5.3 di berbagai penyedia.

Seberapa besar penalaran bisa menambah tagihan?

Ambil contoh classifier yang mengembalikan label satu kata, sekitar 10 token yang terlihat. Jika model berpikir 1.000 token lebih dulu, 99% tagihan output adalah proses berpikir.

Dalam skala besar: 1.000 balasan dengan masing-masing 1.000 token penalaran menambah 1 juta token output. Biayanya $0.52 di DeepSeek V4.1 Flash, $2.17 di Qwen3.8 27B, dan $3.46 di GLM 5.3, di luar jawaban yang terlihat.

Jumlahnya bervariasi per tugas. Matematika sulit atau penalaran kode lintas banyak file bisa mencapai ribuan token. Sapaan mungkin hampir tidak butuh sama sekali. Karena itulah Anda perlu mengukur.

Bagaimana mengukur token penalaran?

Blok usage melaporkannya jika model menyediakan angkanya:

r = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=[{"role": "user", "content": "Is 'refund my order' a billing or shipping intent?"}],
    max_tokens=1000,
)
u = r.usage
reasoning = (u.completion_tokens_details.reasoning_tokens or 0) if u.completion_tokens_details else 0
print("output:", u.completion_tokens, "reasoning:", reasoning,
      "share:", round(reasoning / max(u.completion_tokens, 1), 2))

Catat ini per jenis tugas selama seminggu. Biasanya Anda akan menemukan beberapa tugas yang bertanggung jawab atas sebagian besar proses berpikir. Saat streaming, tambahkan stream_options: {"include_usage": true}; angkanya datang di chunk terakhir (panduan streaming).

Empat cara mengendalikan biaya penalaran

1. Turunkan reasoning_effort untuk tugas sederhana

reasoning_effort meminta model berpikir lebih sedikit. Panduan BroadNet memakai low untuk klasifikasi, ekstraksi, dan pemformatan:

client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", reasoning_effort="low",
                               max_tokens=1000, messages=msgs)

OpenAI mendokumentasikan rentang nilai yang lebih luas untuk modelnya sendiri, dari none dan minimal melalui low, medium, dan high hingga xhigh dan max, dan mencatat bahwa “some models support only a subset” (Terjemahan BroadRouter: “beberapa model hanya mendukung sebagian”). Periksa nilai mana yang diterima model Anda, dan bandingkan token output sebelum dan sesudah pada sampel yang sama.

2. Gunakan max_tokens sebagai batas atas, bukan untuk memeras

max_tokens membatasi penalaran dan jawaban sekaligus. Pengaturan ini menghentikan balasan yang lepas kendali, tetapi jika terlalu rendah, model bisa menghabiskan seluruh anggaran untuk berpikir dan mengembalikan jawaban kosong dengan finish_reason: "length". Anda tetap membayar proses berpikir itu dan masih harus mencoba ulang. BroadNet menyarankan 1.000 token atau lebih untuk model penalaran. Mengapa model penalaran mengembalikan jawaban kosong.

3. Rutekan langkah mudah ke model yang tidak bernalar

Tidak semua langkah butuh berpikir. Memformat JSON, mengganti nama field, atau menjawab pencarian FAQ bisa diarahkan ke Gemma 4 VL 26B seharga $0.22 per 1 juta output, yang tidak dicantumkan BroadNet sebagai model penalaran. Simpan model penalaran untuk perencanaan, debugging, dan jawaban multi-langkah. Uji kualitas pada sampel Anda sendiri sebelum merutekan.

4. Hapus “pikirkan langkah demi langkah” dari prompt

Model penalaran sudah berpikir. Meminta penalaran langkah demi langkah yang terlihat di atasnya membuat model menuliskannya dua kali: sekali tersembunyi, sekali di jawaban. Mintalah jawaban akhir dalam format yang Anda butuhkan.

Pengaturan mana untuk tugas apa?

Tugas Reasoning effort max_tokens Pilihan model
Klasifikasi, routing low 1.000 Gemma 4 VL 26B atau DeepSeek V4.1 Flash
Ekstraksi ke JSON low 1.000 sampai 2.000 DeepSeek V4.1 Flash, GLM 5.3 untuk output terstruktur
Draf balasan pelanggan low atau default 2.000 DeepSeek V4.1 Flash
Debugging, perencanaan, code review default atau lebih tinggi 8.000 atau tidak disetel DeepSeek V4.1 Flash atau GLM 5.3

Ini titik awal. Ukur token output dan kualitas pada data Anda sendiri, lalu sesuaikan.

Kapan penalaran tidak lagi menambah biaya?

Di paket harga tetap. Paket Full Moon BroadNet berharga $60 per bulan per sesi untuk DeepSeek V4.1 Flash tanpa batas dan tanpa meteran token, jadi token penalaran tidak punya biaya per token. Token itu tetap memakan waktu: pada kecepatan tipikal sekitar 100 token per detik, setiap token penalaran dibuat sebelum jawaban dimulai, jadi penalaran yang panjang menunda jawaban. Kapan paket harga tetap mengalahkan per token, dan sepuluh cara lain memangkas tagihan agen coding.

Di mana posisi BroadNet Inference?

BroadNet menjalankan tiga model penalaran dan satu model tanpa penalaran yang tercantum pada satu kunci kompatibel dengan OpenAI di https://inference.broadnet.ai/v1, dengan usage dilaporkan di setiap respons. Ini memudahkan Anda merutekan per tugas dan mengukur perbedaannya. Jika Anda butuh model tertutup dengan ringkasan penalaran yang terlihat, gunakan API vendor tersebut; katalog chat BroadNet tidak memuat model tertutup. Lihat paket.

Pertanyaan umum

Apakah token penalaran ditagih sebagai input atau output?

Sebagai output. Token ini dihasilkan oleh model, dilaporkan di dalam completion_tokens, dan ditagih dengan harga output per 1 juta token.

Bisakah penalaran dimatikan sepenuhnya?

Tergantung modelnya. OpenAI mendokumentasikan nilai effort yang bisa mencakup none atau minimal di beberapa model. Di BroadNet, setel reasoning_effort ke low, atau gunakan Gemma 4 VL 26B, yang tidak dicantumkan BroadNet sebagai model penalaran.

Apakah max_tokens yang rendah menghemat biaya di model penalaran?

Hanya sebagian. Itu membatasi tagihan, tetapi jika penalaran menghabiskan seluruh anggaran, Anda membayar proses berpikirnya dan mendapat jawaban kosong. Sebaiknya turunkan effort-nya, dan pertahankan max_tokens di 1.000 atau lebih.

Apakah saya bisa melihat teks penalarannya?

Biasanya tidak di field content. Blok usage melaporkan berapa token penalaran yang dipakai, jika model melaporkannya, di completion_tokens_details.reasoning_tokens.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity