Bạn gửi một prompt ngắn với max_tokens: 100, request thành công, nhưng choices[0].message.content lại rỗng. Không có gì hỏng cả: câu trả lời chưa hề bắt đầu.
Chuyện gì đã xảy ra
Model suy luận viết một chuỗi suy nghĩ ẩn (chain of thought) trước câu trả lời hiển thị. Cả hai dùng chung một ngân sách max_tokens. Với giới hạn nhỏ, phần suy luận dùng hết ngân sách, và trong cấu trúc chat completions chuẩn thì lúc đó finish_reason là length.
Ba cách khắc phục
1. Chừa chỗ. Đặt max_tokens từ 1.000 trở lên, như tài liệu BroadNet khuyên. Công cụ tính max_tokens cho model suy luận sẽ tính giới hạn theo độ dài câu trả lời bạn cần và cho biết chi phí.
2. Suy luận ít hơn. Đặt reasoning_effort là low cho các việc đơn giản:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
response = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)
3. Theo dõi usage. Khi model có báo cáo, usage.completion_tokens_details.reasoning_tokens cho biết bao nhiêu token đã dùng cho suy luận:
print(response.choices[0].finish_reason) # "length" means the budget ran out
details = response.usage.completion_tokens_details # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")
Khi streaming, hãy thêm stream_options={"include_usage": True} và cùng thông tin usage đó sẽ đến trong chunk cuối cùng. Xem streaming chat completions.
Những model nào suy luận
| Model | Suy luận trước |
|---|---|
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) |
Có |
GLM 5.3 (broadnet/glm-5.3) |
Có |
Qwen3.8 27B (broadnet/qwen3.8-27b) |
Có |
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) |
Không được liệt kê |
Xử lý sự cố
contentrỗng,finish_reasonlàlength. Hãy tăngmax_tokenshoặc đặtreasoning_effortlàlow.contentrỗng,finish_reasonlàstop. Giới hạn không phải là nguyên nhân. Hãy kiểm tra prompt và in toàn bộ phản hồi để xem thứ gì đã trả về.AttributeErrorởcompletion_tokens_details. Model không báo cáo phần chi tiết cho request đó; hãy kiểm traNonenhư trong ví dụ trên.- Token đầu tiên đến chậm khi streaming. Model đang suy luận trước khi viết câu trả lời. Hạ
reasoning_effortcó thể rút ngắn thời gian chờ.
Nếu bạn chạy agent cả ngày, token suy luận sẽ cộng dồn khi trả theo mức dùng. Công cụ tính giá BroadNet cho biết khi nào một gói không giới hạn giá cố định rẻ hơn.
