생각의 사슬은 프롬프트 요령으로 시작해 모델 기능이 되었습니다.
작동 방식
Wei와 동료들은 2022년에 이 방법을 발표했습니다. 질문과 답만 보여 주는 퓨샷 예시 대신, 그 사이의 풀이 단계까지 보여 주는 예시를 썼습니다. 이런 예시 8개로 5,400억(540B) 파라미터 모델이 초등 수학 문장제 모음인 GSM8K에서 최고 수준의 정확도를 기록해, 검증기를 붙인 파인튜닝 GPT-3를 앞섰습니다. 연구진은 산술, 상식, 기호 추론을 테스트했습니다.
프롬프트 속 생각의 사슬 예시는 다음과 같습니다.
Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.
단계를 쓰게 하면 모델이 답을 확정하기 전에 더 많은 토큰만큼 계산할 수 있고, 각 단계가 다음 단계의 조건이 됩니다. 이는 퓨샷 프롬프팅의 한 형태로, 예시가 형식만이 아니라 풀이 방법을 가르칩니다.
추론 모델은 이를 어떻게 내재화하나
추론 모델은 이런 단계별 텍스트를 스스로 만들어 내도록 학습됩니다. OpenAI 가이드에 따르면 이 모델들은 “use internal reasoning tokens before producing a response”(번역: 응답을 생성하기 전에 내부 추론 토큰을 사용한다)이며, 그 토큰은 API로 보이지 않지만 컨텍스트를 차지하고 출력으로 과금됩니다. 일부 오픈 모델은 추론 내용을 별도 필드로 돌려줍니다. 집계 방식은 추론 토큰을 참고하세요.
왜 중요한가
- 정확도. 수학, 계획 수립, 코드 수정처럼 여러 단계가 필요한 작업에서 효과가 가장 큽니다. 단순 조회에는 이득이 거의 없습니다.
- 비용과 지연 시간. 모든 단계가 출력 토큰입니다. 긴 사슬은 답보다 비용이 더 들 수 있습니다.
- 증명이 아닙니다. 글로 쓴 단계가 그럴듯해 보여도 틀릴 수 있으므로, 할루시네이션을 막아 주지 않습니다.
BroadNet Inference에서는
BroadNet 문서에 따르면 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하며, 그 추론은 max_tokens에 포함됩니다. 1,000토큰 이상을 남겨 두거나 reasoning_effort를 low로 설정하세요. 한도가 작으면 답이 비어서 돌아올 수 있습니다. 값이 보고될 때는 usage.completion_tokens_details.reasoning_tokens에서 사용량을 확인할 수 있습니다. 문서는 BroadNet Gemma 4 VL 26B를 추론 모델로 표시하지 않으므로, 이 모델에 풀이 단계를 요청하려면 고전적인 생각의 사슬 프롬프팅을 쓰면 됩니다. 빈 응답 가이드와 추론 토큰 비용 글에서 예산 잡는 법을 다룹니다.