Chain-of-thought bermula sebagai helah prompt dan menjadi ciri model.
Cara ia berfungsi
Wei dan rakan-rakan menerbitkan kaedah ini pada 2022. Daripada contoh few-shot yang hanya menunjukkan soalan dan jawapan, mereka menulis contoh yang menunjukkan langkah-langkah di antaranya. Dengan lapan contoh sebegitu, model 540 bilion parameter mencapai ketepatan terkini (state of the art) pada GSM8K, satu set soalan matematik berayat peringkat sekolah rendah, mengatasi GPT-3 yang ditala halus dengan verifier. Mereka menguji penaakulan aritmetik, akal sehat dan simbolik.
Contoh chain-of-thought dalam prompt:
Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.
Menulis langkah-langkah memberi model lebih banyak token pengiraan sebelum ia menetapkan jawapan, dan setiap langkah mempengaruhi langkah seterusnya. Ia satu bentuk few-shot prompting di mana contoh mengajar kaedah, bukan sekadar format.
Cara model penaakulan menyerapnya
Model penaakulan dilatih untuk menghasilkan teks langkah demi langkah ini sendiri. Panduan OpenAI menyatakan model ini “use internal reasoning tokens before producing a response” (Terjemahan BroadRouter: “menggunakan token penaakulan dalaman sebelum menghasilkan jawapan”), dan token tersebut tidak kelihatan melalui API-nya tetapi masih menggunakan konteks dan dibilkan sebagai output. Sesetengah model terbuka memulangkan penaakulan dalam medan berasingan. Lihat token penaakulan untuk cara ia dikira.
Mengapa ia penting
- Ketepatan. Tugas berbilang langkah seperti matematik, perancangan dan pembetulan kod paling mendapat manfaat. Carian ringkas hampir tidak mendapat apa-apa.
- Kos dan kependaman. Setiap langkah ialah token output. Rantaian yang panjang boleh berharga lebih daripada jawapannya.
- Bukan bukti. Langkah bertulis boleh kelihatan munasabah tetapi tetap salah, jadi ia tidak menghalang halusinasi.
Di BroadNet Inference
Dokumentasi BroadNet menyatakan DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B menaakul sebelum menjawab, dan penaakulan dikira dalam max_tokens. Tinggalkan 1,000 token atau lebih, atau tetapkan reasoning_effort kepada low; dengan had yang kecil, jawapan boleh dipulangkan kosong. Apabila dilaporkan, usage.completion_tokens_details.reasoning_tokens menunjukkan bilangan yang digunakan. Dokumentasi tidak menyenaraikan BroadNet Gemma 4 VL 26B sebagai model penaakulan, jadi chain-of-thought prompting klasik ialah cara untuk memintanya menunjukkan langkah. Panduan jawapan kosong dan artikel tentang kos token penaakulan merangkumi cara membuat bajet.