BroadRouter

Chain-of-thought (CoT, rantaian pemikiran)

Dikemas kini

Chain-of-thought (CoT) ialah teknik prompting di mana model bahasa ditunjukkan atau diminta menulis langkah penaakulan perantaraan sebelum jawapan akhirnya. Ia meningkatkan ketepatan bagi masalah berbilang langkah seperti aritmetik dan logik, dan model penaakulan kini menjananya secara automatik.

Juga dikenali sebagai: CoT, chain-of-thought prompting, step-by-step prompting, CoT prompting, rantaian pemikiran, penaakulan langkah demi langkah

Chain-of-thought bermula sebagai helah prompt dan menjadi ciri model.

Cara ia berfungsi

Wei dan rakan-rakan menerbitkan kaedah ini pada 2022. Daripada contoh few-shot yang hanya menunjukkan soalan dan jawapan, mereka menulis contoh yang menunjukkan langkah-langkah di antaranya. Dengan lapan contoh sebegitu, model 540 bilion parameter mencapai ketepatan terkini (state of the art) pada GSM8K, satu set soalan matematik berayat peringkat sekolah rendah, mengatasi GPT-3 yang ditala halus dengan verifier. Mereka menguji penaakulan aritmetik, akal sehat dan simbolik.

Contoh chain-of-thought dalam prompt:

Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.

Menulis langkah-langkah memberi model lebih banyak token pengiraan sebelum ia menetapkan jawapan, dan setiap langkah mempengaruhi langkah seterusnya. Ia satu bentuk few-shot prompting di mana contoh mengajar kaedah, bukan sekadar format.

Cara model penaakulan menyerapnya

Model penaakulan dilatih untuk menghasilkan teks langkah demi langkah ini sendiri. Panduan OpenAI menyatakan model ini “use internal reasoning tokens before producing a response” (Terjemahan BroadRouter: “menggunakan token penaakulan dalaman sebelum menghasilkan jawapan”), dan token tersebut tidak kelihatan melalui API-nya tetapi masih menggunakan konteks dan dibilkan sebagai output. Sesetengah model terbuka memulangkan penaakulan dalam medan berasingan. Lihat token penaakulan untuk cara ia dikira.

Mengapa ia penting

  • Ketepatan. Tugas berbilang langkah seperti matematik, perancangan dan pembetulan kod paling mendapat manfaat. Carian ringkas hampir tidak mendapat apa-apa.
  • Kos dan kependaman. Setiap langkah ialah token output. Rantaian yang panjang boleh berharga lebih daripada jawapannya.
  • Bukan bukti. Langkah bertulis boleh kelihatan munasabah tetapi tetap salah, jadi ia tidak menghalang halusinasi.

Di BroadNet Inference

Dokumentasi BroadNet menyatakan DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B menaakul sebelum menjawab, dan penaakulan dikira dalam max_tokens. Tinggalkan 1,000 token atau lebih, atau tetapkan reasoning_effort kepada low; dengan had yang kecil, jawapan boleh dipulangkan kosong. Apabila dilaporkan, usage.completion_tokens_details.reasoning_tokens menunjukkan bilangan yang digunakan. Dokumentasi tidak menyenaraikan BroadNet Gemma 4 VL 26B sebagai model penaakulan, jadi chain-of-thought prompting klasik ialah cara untuk memintanya menunjukkan langkah. Panduan jawapan kosong dan artikel tentang kos token penaakulan merangkumi cara membuat bajet.

Soalan lazim

Adakah chain-of-thought sama dengan token penaakulan?

Berkaitan, tetapi tidak sama. Chain-of-thought ialah teknik menulis langkah-langkah. Token penaakulan ialah apa yang dijana oleh model penaakulan apabila ia melakukannya secara dalaman, dan ia dibilkan sebagai output.

Perlukah saya menulis "think step by step" untuk model penaakulan?

Biasanya tidak perlu. Model penaakulan sudah menaakul sebelum menjawab. Panduan OpenAI mencadangkan memberi matlamat dan kekangan yang jelas dan bukannya menetapkan setiap langkah.

Adakah chain-of-thought lebih mahal?

Ya. Langkah-langkah itu ialah token output, yang biasanya token paling mahal, dan ia menambah kependaman.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity