---
title: "CoT(생각의 사슬) 프롬프팅이란? 추론 모델과 비교 | BroadRouter"
description: "생각의 사슬(CoT) 프롬프팅은 LLM이 답 전에 풀이 단계를 쓰게 하는 기법입니다. 어디서 나왔는지, 왜 효과가 있는지, 추론 모델은 이를 어떻게 스스로 하는지 정리했습니다."
url: https://broadrouter.com/ko/glossary/chain-of-thought/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/chain-of-thought/) (2026-11-16 업데이트).

# 생각의 사슬(CoT, chain-of-thought)

업데이트 2026-11-16

생각의 사슬(chain-of-thought, CoT)은 언어 모델이 최종 답 전에 중간 추론 단계를 쓰도록 예시를 보여 주거나 요청하는 프롬프팅 기법입니다. 산술과 논리처럼 여러 단계가 필요한 문제에서 정확도를 높이며, 지금은 추론 모델이 이를 자동으로 생성합니다.

다른 이름: CoT, 사고의 사슬, 생각의 연쇄, CoT 프롬프팅, 단계별 추론 프롬프트, chain-of-thought prompting, step-by-step prompting, CoT prompting

생각의 사슬은 프롬프트 요령으로 시작해 모델 기능이 되었습니다.

## 작동 방식

Wei와 동료들은 2022년에 이 방법을 발표했습니다. 질문과 답만 보여 주는 퓨샷 예시 대신, 그 사이의 풀이 단계까지 보여 주는 예시를 썼습니다. 이런 예시 8개로 5,400억(540B) 파라미터 모델이 초등 수학 문장제 모음인 GSM8K에서 최고 수준의 정확도를 기록해, 검증기를 붙인 파인튜닝 GPT-3를 앞섰습니다. 연구진은 산술, 상식, 기호 추론을 테스트했습니다.

프롬프트 속 생각의 사슬 예시는 다음과 같습니다.

```text
Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.
```

단계를 쓰게 하면 모델이 답을 확정하기 전에 더 많은 토큰만큼 계산할 수 있고, 각 단계가 다음 단계의 조건이 됩니다. 이는 [퓨샷 프롬프팅](https://broadrouter.com/ko/glossary/few-shot-prompting/)의 한 형태로, 예시가 형식만이 아니라 풀이 방법을 가르칩니다.

## 추론 모델은 이를 어떻게 내재화하나

추론 모델은 이런 단계별 텍스트를 스스로 만들어 내도록 학습됩니다. OpenAI 가이드에 따르면 이 모델들은 “use internal reasoning tokens before producing a response”(번역: 응답을 생성하기 전에 내부 추론 토큰을 사용한다)이며, 그 토큰은 API로 보이지 않지만 컨텍스트를 차지하고 출력으로 과금됩니다. 일부 오픈 모델은 추론 내용을 별도 필드로 돌려줍니다. 집계 방식은 [추론 토큰](https://broadrouter.com/ko/glossary/reasoning-tokens/)을 참고하세요.

## 왜 중요한가

-   **정확도.** 수학, 계획 수립, 코드 수정처럼 여러 단계가 필요한 작업에서 효과가 가장 큽니다. 단순 조회에는 이득이 거의 없습니다.
-   **비용과 지연 시간.** 모든 단계가 [출력 토큰](https://broadrouter.com/ko/glossary/input-and-output-tokens/)입니다. 긴 사슬은 답보다 비용이 더 들 수 있습니다.
-   **증명이 아닙니다.** 글로 쓴 단계가 그럴듯해 보여도 틀릴 수 있으므로, [할루시네이션](https://broadrouter.com/ko/glossary/hallucination/)을 막아 주지 않습니다.

## BroadNet Inference에서는

BroadNet 문서에 따르면 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하며, 그 추론은 [`max_tokens`](https://broadrouter.com/ko/glossary/max-tokens/)에 포함됩니다. 1,000토큰 이상을 남겨 두거나 `reasoning_effort`를 `low`로 설정하세요. 한도가 작으면 답이 비어서 돌아올 수 있습니다. 값이 보고될 때는 `usage.completion_tokens_details.reasoning_tokens`에서 사용량을 확인할 수 있습니다. 문서는 BroadNet Gemma 4 VL 26B를 추론 모델로 표시하지 않으므로, 이 모델에 풀이 단계를 요청하려면 고전적인 생각의 사슬 프롬프팅을 쓰면 됩니다. [빈 응답 가이드](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)와 [추론 토큰 비용](https://broadrouter.com/ko/blog/reasoning-tokens-cost/) 글에서 예산 잡는 법을 다룹니다.

## 자주 묻는 질문

### 생각의 사슬과 추론 토큰은 같은 건가요?

관련은 있지만 같지 않습니다. 생각의 사슬은 단계를 글로 쓰게 하는 기법입니다. 추론 토큰은 추론 모델이 그 과정을 내부적으로 할 때 생성하는 토큰이며, 출력으로 과금됩니다.

### 추론 모델에도 "단계별로 생각해"라고 써야 하나요?

대개는 필요 없습니다. 추론 모델은 답하기 전에 이미 추론합니다. OpenAI 가이드는 모든 단계를 지시하기보다 명확한 목표와 제약 조건을 주라고 권합니다.

### 생각의 사슬을 쓰면 비용이 더 드나요?

네. 풀이 단계는 출력 토큰이고, 출력 토큰은 보통 가장 비싼 토큰이며, 지연 시간도 늘어납니다.

## 함께 보기

-   [추론 토큰(reasoning tokens)](https://broadrouter.com/ko/glossary/reasoning-tokens/) (용어)
-   [퓨샷 프롬프팅(few-shot prompting)](https://broadrouter.com/ko/glossary/few-shot-prompting/) (용어)
-   [max\_tokens(최대 출력 토큰)](https://broadrouter.com/ko/glossary/max-tokens/) (용어)
-   [할루시네이션(환각, hallucination)](https://broadrouter.com/ko/glossary/hallucination/) (용어)
-   [입력 토큰과 출력 토큰(input and output tokens)](https://broadrouter.com/ko/glossary/input-and-output-tokens/) (용어)
-   [추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/) (가이드)
-   [추론 토큰: 보이는 것보다 많은 출력 요금을 내는 이유](https://broadrouter.com/ko/blog/reasoning-tokens-cost/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-chain-of-thought&utm_content=page-cta) ·

**출처**

-   [Wei 외(2022), Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (2026-11-16 확인)](https://arxiv.org/abs/2201.11903)
-   [OpenAI, 추론 모델 가이드 (2026-11-16 확인)](https://developers.openai.com/api/docs/guides/reasoning)
-   [BroadNet Inference API 레퍼런스, 추론과 캐시된 토큰 (2026-11-16 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-chain-of-thought&utm_content=sources)
