Model penalaran berpikir sebelum menjawab. Proses berpikir itu juga berupa teks, jadi ia memakan token, waktu, dan ruang di context window.
Cara kerjanya
Model penalaran menghasilkan rantai pemikiran internal, lalu jawaban yang terlihat. Keduanya berasal dari anggaran output yang sama. Panduan OpenAI menyebut token penalaran “are billed as output tokens” (terjemahan: ditagih sebagai token output) dan memakai ruang di context window; Anthropic mengatakan hal yang sama tentang token thinking dan menyebutnya “a subset of your max_tokens” (terjemahan: bagian dari max_tokens Anda).
Dalam format Chat Completions, jumlahnya muncul di usage:
"usage": {
"completion_tokens": 1186,
"completion_tokens_details": { "reasoning_tokens": 1024 }
}
Di sini, 1.024 dari 1.186 token output dipakai untuk berpikir, dan hanya 162 untuk jawaban. OpenAI memperingatkan bahwa respons bisa mencapai batas “before any visible output tokens are produced” (terjemahan: sebelum token output apa pun yang terlihat dihasilkan), sehingga Anda membayar input dan penalaran tetapi tidak mendapat balasan. OpenAI menyarankan menyisihkan setidaknya 25.000 token untuk penalaran dan output saat Anda mulai bereksperimen dengan model-modelnya.
Banyak API menyediakan pengaturan seperti reasoning_effort (low, medium, high) untuk menukar kualitas dengan lebih sedikit token berpikir.
Kenapa ini penting
- Biaya. Pada kunci per token, penalaran ditagih dengan harga output, biasanya tarif tertinggi. Lihat token input dan output.
- Latensi. Berpikir butuh waktu sebelum token pertama yang terlihat. Pada token per detik yang tetap, 2.000 token penalaran menambah waktu setara 2.000 token output.
- Keandalan.
max_tokenskecil yang berhasil pada model non-penalaran bisa mengembalikan jawaban kosong pada model penalaran.
Di BroadNet Inference
DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab. Dokumentasi BroadNet menyebut penalaran dihitung dalam max_tokens. Dokumentasi BroadNet tidak mencantumkan penalaran untuk BroadNet Gemma 4 VL 26B.
Jika model melaporkannya, usage.completion_tokens_details.reasoning_tokens menunjukkan porsi berpikirnya. Atur max_tokens ke 1.000 atau lebih, atau biarkan tidak diatur, dan gunakan reasoning_effort="low" untuk langkah sederhana:
client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)
Pada skema bayar sesuai pemakaian, penalaran ditagih dengan harga output, misalnya $0.52 per 1 juta token pada DeepSeek V4.1 Flash. Pada paket unlimited untuk model itu tidak ada meteran token, jadi penalaran tidak menambah biaya; hanya memakan waktu. Daftar perbaikan lengkapnya ada di kenapa model penalaran mengembalikan jawaban kosong.