Il chain-of-thought è nato come trucco di prompting ed è diventato una funzione dei modelli.
Come funziona
Wei e colleghi hanno pubblicato il metodo nel 2022. Invece di esempi few-shot che mostrano solo domanda e risposta, hanno scritto esempi che mostrano i passaggi intermedi. Con otto esempi di questo tipo, un modello da 540 miliardi di parametri ha raggiunto un’accuratezza allo stato dell’arte su GSM8K, una raccolta di problemi di matematica da scuola elementare, superando un GPT-3 sottoposto a fine-tuning e affiancato da un verificatore. Hanno testato ragionamento aritmetico, di buon senso e simbolico.
Un esempio di chain-of-thought in un prompt:
Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.
Scrivere i passaggi dà al modello più token di calcolo prima di impegnarsi su una risposta, e ogni passaggio condiziona il successivo. È una forma di few-shot prompting in cui gli esempi insegnano un metodo, non solo un formato.
Come lo interiorizzano i modelli di reasoning
I modelli di reasoning sono addestrati a produrre da soli questo testo passo per passo. La guida di OpenAI dice che “use internal reasoning tokens before producing a response” (traduzione: usano token di ragionamento interni prima di produrre una risposta), e che quei token non sono visibili tramite la sua API ma occupano comunque contesto e vengono fatturati come output. Alcuni modelli open restituiscono invece il ragionamento in un campo separato. Vedi token di ragionamento per come vengono contati.
Perché è importante
- Accuratezza. I compiti a più passaggi, come matematica, pianificazione e correzione di codice, ne beneficiano di più. Le semplici ricerche guadagnano poco.
- Costo e latenza. Ogni passaggio è un token di output. Una catena lunga può costare più della risposta.
- Non è una prova. I passaggi scritti possono sembrare solidi ed essere comunque sbagliati, quindi non evitano le allucinazioni.
Su BroadNet Inference
La documentazione di BroadNet dice che DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere, e che il ragionamento conta per max_tokens. Lascia 1.000 token o più, oppure imposta reasoning_effort a low; con un limite basso la risposta può tornare vuota. Quando è riportato, usage.completion_tokens_details.reasoning_tokens mostra quanti ne sono stati usati. La documentazione non elenca BroadNet Gemma 4 VL 26B tra i modelli di reasoning, quindi per chiedergli i passaggi si usa il classico chain-of-thought prompting. La guida alle risposte vuote e il post sul costo dei token di ragionamento spiegano come impostare il budget.