Nagpadala ka ng maikling prompt na may max_tokens: 100, nagtagumpay ang request, pero walang laman ang choices[0].message.content. Walang sira: hindi lang talaga nagsimula ang sagot.
Ano ang nangyayari
Sumusulat muna ang mga reasoning model ng nakatagong chain of thought bago ang nakikitang sagot. Iisang max_tokens budget ang pinaghahatian ng dalawa. Kapag maliit ang limit, nauubos ito ng reasoning, at sa karaniwang format ng chat completions, length ang magiging finish_reason.
Tatlong ayos
1. Maglaan ng espasyo. I-set ang max_tokens sa 1,000 o higit pa, gaya ng payo ng docs ng BroadNet. Kinukuwenta ng max_tokens calculator para sa mga reasoning model ang limit para sa haba ng sagot mo at ipinapakita ang gastos.
2. Bawasan ang reasoning. I-set ang reasoning_effort sa low para sa mga simpleng task:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
response = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)
3. Bantayan ang usage. Kapag iniuulat ito ng model, ipinapakita ng usage.completion_tokens_details.reasoning_tokens kung gaano karami ang napunta sa reasoning:
print(response.choices[0].finish_reason) # "length" means the budget ran out
details = response.usage.completion_tokens_details # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")
Sa isang stream, idagdag ang stream_options={"include_usage": True} at darating ang parehong usage sa huling chunk. Tingnan ang streaming chat completions.
Aling mga model ang nagre-reason
| Model | Nagre-reason muna |
|---|---|
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) |
Oo |
GLM 5.3 (broadnet/glm-5.3) |
Oo |
Qwen3.8 27B (broadnet/qwen3.8-27b) |
Oo |
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) |
Hindi nakalista |
Troubleshooting
- Walang lamang
content,lengthangfinish_reason. Taasan angmax_tokenso i-set angreasoning_effortsalow. - Walang lamang
content,stopangfinish_reason. Hindi ang limit ang dahilan. Suriin ang prompt mo at i-print ang buong response para makita kung ano ang bumalik. AttributeErrorsacompletion_tokens_details. Hindi iniulat ng model ang breakdown para sa request na iyon; mag-check para saNonegaya ng nasa example sa itaas.- Mabagal ang unang token sa isang stream. Nagre-reason pa ang model bago isulat ang sagot. Puwedeng paikliin ng mas mababang
reasoning_effortang paghihintay.
Kung buong araw kang nagpapatakbo ng mga agent, nag-iipon ang reasoning tokens sa pay-as-you-go. Ipinapakita ng pricing calculator ng BroadNet kung kailan mas mura ang flat na unlimited na plan.
