Invii un prompt breve con max_tokens: 100, la richiesta va a buon fine e choices[0].message.content è vuoto. Non si è rotto niente: la risposta non è mai iniziata.
Che cosa succede
I modelli di ragionamento scrivono una catena di pensiero nascosta prima della risposta visibile. Le due parti condividono un unico budget di max_tokens. Con un limite basso il ragionamento lo consuma tutto e, nel formato standard di chat completions, finish_reason diventa length.
Tre soluzioni
1. Lascia spazio. Imposta max_tokens ad almeno 1.000, come consiglia la documentazione di BroadNet. Il calcolatore di max_tokens per modelli di ragionamento dimensiona il limite in base alla lunghezza della risposta e mostra il costo.
2. Ragiona meno. Per i compiti semplici imposta reasoning_effort a low:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
response = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)
3. Tieni d’occhio l’usage. Quando il modello lo riporta, usage.completion_tokens_details.reasoning_tokens mostra quanto è andato nel ragionamento:
print(response.choices[0].finish_reason) # "length" means the budget ran out
details = response.usage.completion_tokens_details # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")
I commenti nel codice ricordano che "length" significa budget esaurito e che completion_tokens_details è None se il modello non lo riporta.
In streaming, aggiungi stream_options={"include_usage": True} e lo stesso usage arriva nell’ultimo chunk. Vedi streaming delle chat completions.
Quali modelli ragionano
| Modello | Ragiona prima di rispondere |
|---|---|
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) |
Sì |
GLM 5.3 (broadnet/glm-5.3) |
Sì |
Qwen3.8 27B (broadnet/qwen3.8-27b) |
Sì |
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) |
Non indicato |
Risoluzione dei problemi
contentvuoto,finish_reasonèlength. Alzamax_tokenso impostareasoning_effortalow.contentvuoto,finish_reasonèstop. Il limite non c’entra. Controlla il prompt e stampa la risposta completa per vedere che cosa è tornato.AttributeErrorsucompletion_tokens_details. Il modello non ha riportato il dettaglio per quella richiesta; gestisci il casoNonecome nell’esempio sopra.- Primo token lento in streaming. Il modello sta ragionando prima di scrivere la risposta. Un
reasoning_effortpiù basso può accorciare l’attesa.
Se fai girare agenti tutto il giorno, con il pagamento a consumo i token di ragionamento si accumulano. Il calcolatore dei prezzi di BroadNet mostra quando un piano illimitato a prezzo fisso costa meno.
