O chain-of-thought começou como um truque de prompt e virou um recurso dos modelos.
Como funciona
Wei e colegas publicaram o método em 2022. Em vez de exemplos few-shot que mostram só pergunta e resposta, eles escreveram exemplos que mostram os passos intermediários. Com oito exemplos desse tipo, um modelo de 540 bilhões de parâmetros alcançou precisão de estado da arte no GSM8K, um conjunto de problemas de matemática do ensino fundamental, à frente de um GPT-3 com fine-tuning e um verificador. Eles testaram raciocínio aritmético, de senso comum e simbólico.
Um exemplo de chain-of-thought em um prompt:
Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.
Escrever os passos dá ao modelo mais tokens de computação antes de ele se comprometer com uma resposta, e cada passo condiciona o seguinte. É uma forma de few-shot prompting em que os exemplos ensinam um método, não só um formato.
Como os modelos de raciocínio internalizam isso
Modelos de raciocínio são treinados para produzir esse texto passo a passo sozinhos. O guia da OpenAI diz que eles “use internal reasoning tokens before producing a response” (tradução: usam tokens de raciocínio internos antes de produzir uma resposta), e que esses tokens não ficam visíveis pela API dela, mas ainda ocupam contexto e são cobrados como saída. Alguns modelos abertos devolvem o raciocínio em um campo separado. Veja tokens de raciocínio para saber como são contados.
Por que isso importa
- Precisão. Tarefas de várias etapas, como matemática, planejamento e correção de código, são as que mais ganham. Consultas simples ganham pouco.
- Custo e latência. Cada passo é um token de saída. Uma cadeia longa pode custar mais que a resposta.
- Não é prova. Passos escritos podem parecer sólidos e mesmo assim estar errados, então não impedem alucinações.
Na BroadNet Inference
A documentação da BroadNet diz que o DeepSeek V4.1 Flash, o GLM 5.3 e o Qwen3.8 27B raciocinam antes de responder, e que o raciocínio conta para o max_tokens. Deixe 1.000 tokens ou mais, ou defina reasoning_effort como low; com um limite pequeno, a resposta pode voltar vazia. Quando informado, usage.completion_tokens_details.reasoning_tokens mostra quantos foram usados. A documentação não lista o BroadNet Gemma 4 VL 26B como modelo de raciocínio, então o chain-of-thought clássico no prompt é o jeito de pedir os passos a ele. O guia de respostas vazias e o post sobre o custo dos tokens de raciocínio tratam do orçamento.