Nagsimula ang chain-of-thought bilang prompt trick at naging feature ng model.
Paano ito gumagana
Inilathala nina Wei at mga kasama ang method noong 2022. Sa halip na few-shot examples na tanong at sagot lang ang ipinapakita, sumulat sila ng mga halimbawang ipinapakita ang mga hakbang sa pagitan. Sa walong ganoong halimbawa, umabot sa state-of-the-art na accuracy ang isang 540-billion-parameter model sa GSM8K, isang set ng math word problems pang-grade school, at nalampasan ang fine-tuned na GPT-3 na may verifier. Sinubok nila ang arithmetic, commonsense at symbolic reasoning.
Isang chain-of-thought na halimbawa sa prompt:
Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.
Kapag isinulat ang mga hakbang, mas maraming token ng computation ang model bago ito magpasya sa sagot, at nakaaapekto ang bawat hakbang sa susunod. Isa itong anyo ng few-shot prompting kung saan method ang itinuturo ng mga halimbawa, hindi lang format.
Paano ito isinasaloob ng mga reasoning model
Tine-train ang mga reasoning model para sila mismo ang gumawa ng ganitong hakbang-hakbang na text. Sinasabi ng gabay ng OpenAI na “use internal reasoning tokens before producing a response” (Salin ng BroadRouter: “gumagamit sila ng internal na reasoning tokens bago bumuo ng sagot”) ang mga ito, at hindi nakikita ang mga token na iyon sa API nito pero gumagamit pa rin ng context at sinisingil bilang output. May mga open model na ibinabalik ang reasoning sa hiwalay na field. Tingnan ang reasoning tokens para sa kung paano binibilang ang mga ito.
Bakit ito mahalaga
- Accuracy. Pinakanakikinabang ang mga task na maraming hakbang gaya ng math, planning at pag-aayos ng code. Kaunti lang ang naidudulot sa simpleng lookup.
- Gastos at latency. Bawat hakbang ay isang output token. Puwedeng mas mahal pa ang mahabang chain kaysa sa sagot.
- Hindi patunay. Puwedeng mukhang tama ang mga nakasulat na hakbang pero mali pa rin, kaya hindi nito napipigilan ang hallucination.
Sa BroadNet Inference
Ayon sa docs ng BroadNet, nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, at kasama ang reasoning sa bilang ng max_tokens. Mag-iwan ng 1,000 token o higit pa, o i-set ang reasoning_effort sa low; kapag maliit ang limit, puwedeng walang laman ang sagot. Kapag iniulat, ipinapakita ng usage.completion_tokens_details.reasoning_tokens kung ilan ang nagamit. Hindi nakalista sa docs ang BroadNet Gemma 4 VL 26B bilang reasoning model, kaya klasikong chain-of-thought prompting ang paraan para humingi rito ng mga hakbang. Saklaw ng gabay sa empty response at ng post tungkol sa gastos ng reasoning tokens ang pagba-budget.