BroadRouter

Vì sao model suy luận trả về câu trả lời rỗng

Cập nhật

Model đã dùng hết ngân sách max_tokens cho phần suy luận trước khi kịp bắt đầu câu trả lời hiển thị. Trên BroadNet Inference, DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước, và phần suy luận được tính vào max_tokens. Hãy cho phép từ 1.000 token trở lên, hoặc đặt reasoning_effort là low.

Bạn gửi một prompt ngắn với max_tokens: 100, request thành công, nhưng choices[0].message.content lại rỗng. Không có gì hỏng cả: câu trả lời chưa hề bắt đầu.

Chuyện gì đã xảy ra

Model suy luận viết một chuỗi suy nghĩ ẩn (chain of thought) trước câu trả lời hiển thị. Cả hai dùng chung một ngân sách max_tokens. Với giới hạn nhỏ, phần suy luận dùng hết ngân sách, và trong cấu trúc chat completions chuẩn thì lúc đó finish_reason là length.

Ba cách khắc phục

1. Chừa chỗ. Đặt max_tokens từ 1.000 trở lên, như tài liệu BroadNet khuyên. Công cụ tính max_tokens cho model suy luận sẽ tính giới hạn theo độ dài câu trả lời bạn cần và cho biết chi phí.

2. Suy luận ít hơn. Đặt reasoning_effort là low cho các việc đơn giản:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. Theo dõi usage. Khi model có báo cáo, usage.completion_tokens_details.reasoning_tokens cho biết bao nhiêu token đã dùng cho suy luận:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

Khi streaming, hãy thêm stream_options={"include_usage": True} và cùng thông tin usage đó sẽ đến trong chunk cuối cùng. Xem streaming chat completions.

Những model nào suy luận

Model Suy luận trước
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) Có
GLM 5.3 (broadnet/glm-5.3) Có
Qwen3.8 27B (broadnet/qwen3.8-27b) Có
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) Không được liệt kê

Xử lý sự cố

  • content rỗng, finish_reason là length. Hãy tăng max_tokens hoặc đặt reasoning_effort là low.
  • content rỗng, finish_reason là stop. Giới hạn không phải là nguyên nhân. Hãy kiểm tra prompt và in toàn bộ phản hồi để xem thứ gì đã trả về.
  • AttributeError ở completion_tokens_details. Model không báo cáo phần chi tiết cho request đó; hãy kiểm tra None như trong ví dụ trên.
  • Token đầu tiên đến chậm khi streaming. Model đang suy luận trước khi viết câu trả lời. Hạ reasoning_effort có thể rút ngắn thời gian chờ.

Nếu bạn chạy agent cả ngày, token suy luận sẽ cộng dồn khi trả theo mức dùng. Công cụ tính giá BroadNet cho biết khi nào một gói không giới hạn giá cố định rẻ hơn.

Câu hỏi thường gặp

Suy luận có tốn tiền không?

Với gói trả theo mức dùng, phần suy luận được báo cáo trong completion token và tính theo giá đầu ra. Trên gói không giới hạn cho DeepSeek V4.1 Flash không có đồng hồ đo token, nên không tốn thêm gì.

BroadNet Gemma 4 VL 26B có suy luận không?

Tài liệu BroadNet ghi khả năng suy luận cho DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B, không ghi cho Gemma 4 VL 26B.

Vì sao message content rỗng khi finish_reason là length?

Ngân sách token đã hết trước khi câu trả lời hiển thị bắt đầu. Model suy luận viết phần suy luận trước, và các token đó được tính vào max_tokens. Hãy tăng max_tokens lên 1.000 trở lên, hoặc hạ reasoning_effort.

Đặt reasoning_effort là low thì có tác dụng gì?

Nó yêu cầu model suy luận ít hơn trước khi trả lời. Tài liệu BroadNet gợi ý cách này để thay cho việc tăng max_tokens khi giới hạn ngắn làm câu trả lời bị rỗng. Hãy dùng cho các việc đơn giản như phân loại hay trích xuất.

Làm sao xem bao nhiêu token đã dùng cho suy luận?

Đọc usage.completion_tokens_details.reasoning_tokens trong phản hồi, khi model có báo cáo. Khi streaming, hãy gửi stream_options với include_usage là true và đọc giá trị này ở chunk cuối cùng.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity