BroadRouter

Token penaakulan (reasoning tokens)

Dikemas kini

Token penaakulan ialah token yang dijana oleh model penaakulan untuk menyelesaikan masalah sebelum ia menulis jawapan yang kelihatan. Token ini biasanya dibilkan sebagai token output, dikira dalam had output dan tetingkap konteks, dan mungkin disembunyikan atau diringkaskan oleh API.

Juga dikenali sebagai: token berfikir, token penaakulan, reasoning tokens, thinking tokens, chain-of-thought tokens, reasoning effort, extended thinking

Model penaakulan berfikir sebelum menjawab. Pemikiran itu juga teks, jadi ia menggunakan token, masa dan ruang dalam tetingkap konteks.

Cara ia berfungsi

Model penaakulan menjana rantaian pemikiran dalaman, kemudian jawapan yang kelihatan. Kedua-duanya datang daripada bajet output yang sama. Panduan OpenAI menyatakan token penaakulan “are billed as output tokens” (Terjemahan BroadRouter: “dibilkan sebagai token output”) dan menggunakan ruang dalam tetingkap konteks; Anthropic menyatakan perkara yang sama tentang thinking token dan menyebutnya “a subset of your max_tokens” (Terjemahan BroadRouter: “sebahagian daripada max_tokens anda”).

Dalam format Chat Completions, bilangannya dipaparkan dalam usage:

"usage": {
  "completion_tokens": 1186,
  "completion_tokens_details": { "reasoning_tokens": 1024 }
}

Di sini, 1,024 daripada 1,186 token output digunakan untuk berfikir, dan hanya 162 untuk jawapan. OpenAI memberi amaran bahawa respons boleh mencapai had “before any visible output tokens are produced” (Terjemahan BroadRouter: “sebelum sebarang token output yang kelihatan dihasilkan”), jadi anda membayar untuk input dan penaakulan tanpa mendapat balasan. Ia mencadangkan supaya sekurang-kurangnya 25,000 token dikhaskan untuk penaakulan dan output apabila anda mula bereksperimen dengan model-modelnya.

Banyak API menyediakan kawalan seperti reasoning_effort (low, medium, high) untuk menukar kualiti dengan token berfikir yang lebih sedikit.

Mengapa ia penting

  • Kos. Pada kunci setiap token, penaakulan dibilkan pada harga output, biasanya kadar tertinggi. Lihat token input dan output.
  • Kependaman. Berfikir mengambil masa sebelum token pertama yang kelihatan. Pada token sesaat yang tetap, 2,000 token penaakulan menambah masa yang sama seperti 2,000 token output.
  • Kebolehpercayaan. max_tokens yang kecil, yang berfungsi pada model bukan penaakulan, boleh memulangkan jawapan kosong pada model penaakulan.

Di BroadNet Inference

DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab. Dokumentasi BroadNet menyatakan penaakulan dikira dalam max_tokens. Dokumentasi BroadNet tidak menyenaraikan penaakulan untuk BroadNet Gemma 4 VL 26B.

Apabila model melaporkannya, usage.completion_tokens_details.reasoning_tokens menunjukkan bahagian yang digunakan untuk berfikir. Tetapkan max_tokens kepada 1,000 atau lebih, atau biarkan tidak ditetapkan, dan gunakan reasoning_effort="low" untuk langkah mudah:

client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)

Pada bayar ikut guna, penaakulan dibilkan pada harga output, contohnya $0.52 setiap 1M token pada DeepSeek V4.1 Flash. Pada pelan tanpa had untuk model itu tiada meter token, jadi penaakulan tidak menambah kos; ia hanya mengambil masa. Senarai pembaikan penuh ada dalam mengapa model penaakulan memulangkan jawapan kosong.

Soalan lazim

Bolehkah saya melihat token penaakulan?

Bergantung pada API. OpenAI menyatakan token penaakulan tidak kelihatan melalui API-nya tetapi boleh diringkaskan. Penyedia lain memulangkan sebahagian atau keseluruhan penaakulan dalam medan berasingan. Anda tetap dibilkan untuknya.

Bagaimanakah saya mengurangkan token penaakulan?

Gunakan tetapan reasoning effort yang lebih rendah untuk tugas mudah, seperti reasoning_effort ditetapkan kepada low, jika model menyokongnya. Prompt yang jelas dan khusus juga membantu.

Mengapakah saya mendapat jawapan kosong daripada model penaakulan?

Model itu mungkin telah menggunakan keseluruhan bajet output untuk penaakulan. finish_reason kemudiannya ialah length. Naikkan max_tokens atau turunkan reasoning effort.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity