BroadRouter

Chain-of-thought (CoT)

Cập nhật

Chain-of-thought (CoT, chuỗi suy nghĩ) là kỹ thuật prompt trong đó model ngôn ngữ được cho xem ví dụ hoặc được yêu cầu viết các bước suy luận trung gian trước câu trả lời cuối. Nó tăng độ chính xác với bài toán nhiều bước như số học và logic, và model suy luận giờ tự sinh ra nó.

Còn gọi là: CoT, chuỗi suy nghĩ, chuỗi suy luận, prompt từng bước, chain-of-thought prompting, step-by-step prompting, CoT prompting

Chain-of-thought bắt đầu là một mẹo viết prompt và đã trở thành một tính năng của model.

Cách hoạt động

Wei và cộng sự công bố phương pháp này năm 2022. Thay vì ví dụ few-shot chỉ có câu hỏi và đáp án, họ viết các ví dụ thể hiện cả những bước ở giữa. Với tám ví dụ như vậy, một model 540 tỷ tham số đạt độ chính xác cao nhất (state of the art) trên GSM8K, bộ bài toán đố cấp tiểu học, vượt cả GPT-3 đã fine-tune có kèm verifier. Họ thử nghiệm suy luận số học, thường thức và ký hiệu.

Một ví dụ chain-of-thought trong prompt:

Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.

Viết ra các bước cho model thêm nhiều token tính toán trước khi chốt câu trả lời, và mỗi bước làm điều kiện cho bước sau. Đây là một dạng few-shot prompting trong đó ví dụ dạy phương pháp, không chỉ định dạng.

Model suy luận tích hợp nó ra sao

Model suy luận được huấn luyện để tự sinh ra đoạn văn từng bước này. Hướng dẫn của OpenAI nói chúng “use internal reasoning tokens before producing a response” (Bản dịch: dùng reasoning token nội bộ trước khi tạo phản hồi), và các token đó không hiển thị qua API của họ nhưng vẫn chiếm context và được tính tiền như đầu ra. Một số model mở trả phần suy luận trong một trường riêng. Xem reasoning token để biết cách chúng được đếm.

Vì sao quan trọng

  • Độ chính xác. Các tác vụ nhiều bước như toán, lập kế hoạch và sửa code được lợi nhiều nhất. Tra cứu đơn giản gần như không được gì.
  • Chi phí và độ trễ. Mỗi bước là một token đầu ra. Một chuỗi dài có thể tốn hơn cả câu trả lời.
  • Không phải bằng chứng. Các bước viết ra có thể trông hợp lý mà vẫn sai, nên chúng không ngăn được hallucination.

Trên BroadNet Inference

Tài liệu của BroadNet cho biết DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận được tính vào max_tokens. Hãy chừa từ 1.000 token trở lên, hoặc đặt reasoning_effort thành low; với giới hạn nhỏ, câu trả lời có thể trả về rỗng. Khi có báo cáo, usage.completion_tokens_details.reasoning_tokens cho biết đã dùng bao nhiêu. Tài liệu không liệt kê BroadNet Gemma 4 VL 26B là model suy luận, nên chain-of-thought prompting cổ điển là cách để yêu cầu nó viết các bước. Hướng dẫn xử lý phản hồi rỗng và bài viết về chi phí reasoning token trình bày cách lập ngân sách.

Câu hỏi thường gặp

Chain-of-thought có giống reasoning token không?

Liên quan nhưng không giống. Chain-of-thought là kỹ thuật viết ra các bước. Reasoning token là thứ model suy luận sinh ra khi làm việc đó bên trong, và được tính tiền như đầu ra.

Có nên viết “hãy suy nghĩ từng bước” cho model suy luận không?

Thường là không cần. Model suy luận vốn đã suy luận trước khi trả lời. Hướng dẫn của OpenAI khuyên nên đưa mục tiêu và ràng buộc rõ ràng thay vì quy định từng bước.

Chain-of-thought có tốn thêm tiền không?

Có. Các bước là token đầu ra, thường là loại token đắt nhất, và chúng làm tăng độ trễ.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity