BroadRouter

Reasoning tokens

Na-update

Ang reasoning tokens ay mga token na binubuo ng isang reasoning model para pag-isipan ang isang problema bago nito isulat ang nakikitang sagot. Kadalasang sinisingil ang mga ito bilang output token, binibilang sa output limit at sa context window, at puwedeng itago o ibuod ng API.

Tinatawag ding: reasoning token, thinking tokens, chain-of-thought tokens, reasoning effort, extended thinking

Nag-iisip muna ang mga reasoning model bago sumagot. Text din ang pag-iisip na iyon, kaya gumagastos ito ng token, oras at espasyo sa context window.

Paano ito gumagana

Bumubuo ang reasoning model ng internal na chain of thought, saka ang nakikitang sagot. Pareho silang galing sa iisang output budget. Ayon sa gabay ng OpenAI, ang reasoning tokens ay “are billed as output tokens” (Salin ng BroadRouter: “sinisingil bilang output token”) at sumasakop ng espasyo sa context window; ganoon din ang sinasabi ng Anthropic tungkol sa thinking tokens, at tinatawag nito ang mga ito na “a subset of your max_tokens” (Salin ng BroadRouter: “bahagi ng iyong max_tokens”).

Sa Chat Completions format, lumalabas ang bilang sa usage:

"usage": {
  "completion_tokens": 1186,
  "completion_tokens_details": { "reasoning_tokens": 1024 }
}

Dito, 1,024 sa 1,186 na output token ang napunta sa pag-iisip, at 162 lang sa sagot. Nagbababala ang OpenAI na puwedeng maabot ng response ang limit “before any visible output tokens are produced” (Salin ng BroadRouter: “bago pa makabuo ng anumang nakikitang output token”), kaya magbabayad ka para sa input at reasoning nang walang natatanggap na sagot. Iminumungkahi nitong maglaan ng hindi bababa sa 25,000 token para sa reasoning at output kapag nagsisimula kang mag-eksperimento sa mga model nito.

Maraming API ang may kontrol gaya ng reasoning_effort (low, medium, high) para ipagpalit ang kalidad sa mas kaunting thinking tokens.

Bakit ito mahalaga

  • Gastos. Sa per-token na key, sinisingil ang reasoning sa presyo ng output, na kadalasang pinakamataas na rate. Tingnan ang input at output token.
  • Latency. Umuubos ng oras ang pag-iisip bago lumabas ang unang nakikitang token. Sa fixed na tokens per second, nadadagdagan ng oras ng 2,000 output token ang 2,000 reasoning token.
  • Reliability. Ang maliit na max_tokens na gumana sa non-reasoning na model ay puwedeng magbalik ng walang lamang sagot sa reasoning model.

Sa BroadNet Inference

Nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot. Ayon sa docs ng BroadNet, binibilang ang reasoning sa max_tokens. Hindi nakalista sa docs ng BroadNet ang reasoning para sa BroadNet Gemma 4 VL 26B.

Kapag iniuulat ito ng model, ipinapakita ng usage.completion_tokens_details.reasoning_tokens ang bahaging napunta sa pag-iisip. I-set ang max_tokens sa 1,000 o higit pa, o huwag itong i-set, at gamitin ang reasoning_effort="low" para sa mga simpleng hakbang:

client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)

Sa pay-as-you-go, sinisingil ang reasoning sa presyo ng output, halimbawa $0.52 kada 1M token sa DeepSeek V4.1 Flash. Sa unlimited plan para sa model na iyon, walang token meter, kaya walang dagdag na gastos ang reasoning; oras lang ang nauubos nito. Nasa bakit walang laman ang sagot ng reasoning model ang buong listahan ng solusyon.

Mga tanong

Nakikita ko ba ang reasoning tokens?

Depende sa API. Ayon sa OpenAI, hindi nakikita ang reasoning tokens sa API nito pero puwede itong ibuod. Ibinabalik naman ng ibang provider ang bahagi o lahat ng reasoning sa hiwalay na field. Sinisingil ka para dito alinman ang mangyari.

Paano ko babawasan ang reasoning tokens?

Gumamit ng mas mababang reasoning effort para sa mga simpleng task, gaya ng reasoning_effort na naka-low, kung sinusuportahan ito ng model. Nakakatulong din ang malinaw at tiyak na prompt.

Bakit walang laman ang sagot ng reasoning model sa akin?

Malamang ginamit ng model ang buong output budget sa reasoning. length ang magiging finish_reason. Taasan ang max_tokens o ibaba ang reasoning effort.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity