BroadRouter

생각의 사슬(CoT, chain-of-thought)

업데이트

생각의 사슬(chain-of-thought, CoT)은 언어 모델이 최종 답 전에 중간 추론 단계를 쓰도록 예시를 보여 주거나 요청하는 프롬프팅 기법입니다. 산술과 논리처럼 여러 단계가 필요한 문제에서 정확도를 높이며, 지금은 추론 모델이 이를 자동으로 생성합니다.

다른 이름: CoT, 사고의 사슬, 생각의 연쇄, CoT 프롬프팅, 단계별 추론 프롬프트, chain-of-thought prompting, step-by-step prompting, CoT prompting

생각의 사슬은 프롬프트 요령으로 시작해 모델 기능이 되었습니다.

작동 방식

Wei와 동료들은 2022년에 이 방법을 발표했습니다. 질문과 답만 보여 주는 퓨샷 예시 대신, 그 사이의 풀이 단계까지 보여 주는 예시를 썼습니다. 이런 예시 8개로 5,400억(540B) 파라미터 모델이 초등 수학 문장제 모음인 GSM8K에서 최고 수준의 정확도를 기록해, 검증기를 붙인 파인튜닝 GPT-3를 앞섰습니다. 연구진은 산술, 상식, 기호 추론을 테스트했습니다.

프롬프트 속 생각의 사슬 예시는 다음과 같습니다.

Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.

단계를 쓰게 하면 모델이 답을 확정하기 전에 더 많은 토큰만큼 계산할 수 있고, 각 단계가 다음 단계의 조건이 됩니다. 이는 퓨샷 프롬프팅의 한 형태로, 예시가 형식만이 아니라 풀이 방법을 가르칩니다.

추론 모델은 이를 어떻게 내재화하나

추론 모델은 이런 단계별 텍스트를 스스로 만들어 내도록 학습됩니다. OpenAI 가이드에 따르면 이 모델들은 “use internal reasoning tokens before producing a response”(번역: 응답을 생성하기 전에 내부 추론 토큰을 사용한다)이며, 그 토큰은 API로 보이지 않지만 컨텍스트를 차지하고 출력으로 과금됩니다. 일부 오픈 모델은 추론 내용을 별도 필드로 돌려줍니다. 집계 방식은 추론 토큰을 참고하세요.

왜 중요한가

  • 정확도. 수학, 계획 수립, 코드 수정처럼 여러 단계가 필요한 작업에서 효과가 가장 큽니다. 단순 조회에는 이득이 거의 없습니다.
  • 비용과 지연 시간. 모든 단계가 출력 토큰입니다. 긴 사슬은 답보다 비용이 더 들 수 있습니다.
  • 증명이 아닙니다. 글로 쓴 단계가 그럴듯해 보여도 틀릴 수 있으므로, 할루시네이션을 막아 주지 않습니다.

BroadNet Inference에서는

BroadNet 문서에 따르면 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하며, 그 추론은 max_tokens에 포함됩니다. 1,000토큰 이상을 남겨 두거나 reasoning_effort를 low로 설정하세요. 한도가 작으면 답이 비어서 돌아올 수 있습니다. 값이 보고될 때는 usage.completion_tokens_details.reasoning_tokens에서 사용량을 확인할 수 있습니다. 문서는 BroadNet Gemma 4 VL 26B를 추론 모델로 표시하지 않으므로, 이 모델에 풀이 단계를 요청하려면 고전적인 생각의 사슬 프롬프팅을 쓰면 됩니다. 빈 응답 가이드와 추론 토큰 비용 글에서 예산 잡는 법을 다룹니다.

자주 묻는 질문

생각의 사슬과 추론 토큰은 같은 건가요?

관련은 있지만 같지 않습니다. 생각의 사슬은 단계를 글로 쓰게 하는 기법입니다. 추론 토큰은 추론 모델이 그 과정을 내부적으로 할 때 생성하는 토큰이며, 출력으로 과금됩니다.

추론 모델에도 "단계별로 생각해"라고 써야 하나요?

대개는 필요 없습니다. 추론 모델은 답하기 전에 이미 추론합니다. OpenAI 가이드는 모든 단계를 지시하기보다 명확한 목표와 제약 조건을 주라고 권합니다.

생각의 사슬을 쓰면 비용이 더 드나요?

네. 풀이 단계는 출력 토큰이고, 출력 토큰은 보통 가장 비싼 토큰이며, 지연 시간도 늘어납니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기