Model suy luận suy nghĩ trước khi trả lời, và trên hầu hết API tương thích OpenAI, cả hai cùng lấy từ một ngân sách: max_tokens. Đặt nó như với model không suy luận, vài trăm token cho một câu trả lời ngắn, là sẽ có phản hồi trả về trống với finish_reason: "length". Cách sửa nhanh nằm trong vì sao model suy luận trả về câu trả lời trống. Bài này là phương pháp đằng sau một ngân sách đáng tin: đo, định cỡ từ phân vị, tôn trọng context window, và xử lý những phản hồi vẫn bị cắt.
Về chi phí của suy luận và cách giảm nó, xem token suy luận: vì sao bạn trả cho nhiều đầu ra hơn những gì thấy.
Vì sao ngân sách cạn trước khi có câu trả lời?
Model sinh token theo thứ tự: trước là phần suy luận, sau là câu trả lời hiển thị. Mọi token của cả hai đều tính vào max_tokens. Tài liệu BroadNet nói điều này cho DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B: “the reasoning counts toward max_tokens” (bản dịch: phần suy luận được tính vào max_tokens), và với giới hạn nhỏ thì “the answer comes back empty” (bản dịch: câu trả lời trả về trống). Tham chiếu Chat Completions của OpenAI định nghĩa max_completion_tokens theo cùng cách, là cận trên “including visible output tokens and reasoning tokens” (bản dịch: bao gồm token đầu ra hiển thị và token suy luận).
Vậy câu hỏi cần đặt ra không phải “câu trả lời của tôi dài bao nhiêu?” Mà là “suy luận và câu trả lời cộng lại dài bao nhiêu, cho tác vụ này, ở mức effort này?” Con số này dao động nhiều hơn người ta nghĩ. Hướng dẫn của OpenAI nói model của họ có thể sinh “anywhere from a few hundred to tens of thousands of reasoning tokens” (bản dịch: từ vài trăm đến hàng chục nghìn token suy luận), tùy bài toán.
max_tokens lớn hơn có tốn tiền hơn không?
Không. Đây là lý do phổ biến nhất khiến ngân sách bị đặt quá chặt. max_tokens là mức trần. Bạn bị tính phí theo số token thực sự được sinh ra. Một phản hồi cần 1.800 token tốn như nhau dù mức trần là 4.000 hay 40.000.
Thứ mà mức trần chặt thực sự gây tốn kém:
| Mức trần so với nhu cầu | Bạn trả gì | Bạn nhận gì |
|---|---|---|
| Mức trần cao hơn nhu cầu | Số token được sinh ra | Câu trả lời |
| Mức trần thấp hơn nhu cầu | Toàn bộ mức trần, tất cả là suy luận | Không có gì dùng được, cộng một lần retry |
Lấy một ví dụ minh họa. Giả sử một phần tư số lời gọi của bạn cần hơn 1.000 token. Với max_tokens=1000, mỗi lời gọi đó tính phí 1.000 token đầu ra cho việc suy nghĩ, không trả về gì và bị retry. Tính trung bình trên tất cả lời gọi, mỗi lời gọi lãng phí thêm 250 token đầu ra, chưa kể chính các lần retry, cộng thêm độ trễ của request thứ hai. Với mức trần 4.000, không có gì bị lãng phí. Trên Qwen3.8 27B, đầu ra có giá $2.17 mỗi 1M token, nên lãng phí sẽ cộng dồn khi khối lượng lớn.
Rủi ro thật của mức trần cao là phản hồi mất kiểm soát: model lặp vòng hoặc suy nghĩ quá mức và sinh nhiều hơn mức cần thiết rất nhiều. Một mức trần cứng sẽ chặn điều đó. Hãy chọn mức trần từ dữ liệu, như dưới đây.
Đo nhu cầu của một tác vụ như thế nào?
Chạy các prompt thật cho một loại tác vụ với mức trần rộng rãi, và ghi lại completion token cùng tỷ lệ suy luận. Khi model có báo cáo, usage.completion_tokens_details.reasoning_tokens cho biết phần suy luận; tài liệu BroadNet có liệt kê trường này.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/qwen3.8-27b"
def measure(prompts, ceiling=16_000, **kw):
"""Run real prompts with a generous ceiling and return per-call token counts."""
rows = []
for p in prompts:
r = client.chat.completions.create(model=MODEL, max_tokens=ceiling,
messages=[{"role": "user", "content": p}], **kw)
u, d = r.usage, r.usage.completion_tokens_details
reasoning = (d.reasoning_tokens or 0) if d else 0
rows.append({"reasoning": reasoning, "answer": u.completion_tokens - reasoning,
"finish": r.choices[0].finish_reason})
return rows
def pct(values, q):
values = sorted(values)
return values[min(len(values) - 1, int(q * len(values)))]
def recommend(rows, margin=1.2):
total = [r["reasoning"] + r["answer"] for r in rows]
return {"p50": pct(total, 0.5), "p95": pct(total, 0.95), "max": max(total),
"max_tokens": int(pct(total, 0.95) * margin),
"cut_off": sum(r["finish"] == "length" for r in rows)}
# print(recommend(measure(my_prompts))) # default effort
# print(recommend(measure(my_prompts, reasoning_effort="low")))
Quy tắc để có con số đáng tin:
- Mỗi lần chạy một loại tác vụ. Phân loại, trích xuất, review code và lập kế hoạch có phân phối rất khác nhau. Một
max_tokenschung cho tất cả hoặc phí tiền vào retry, hoặc để lọt các phản hồi mất kiểm soát. - Từ 50 prompt thật trở lên. Phân vị 95 của mười mẫu chỉ đơn giản là mẫu lớn nhất.
- Chạy ở mỗi mức effort bạn dùng.
reasoning_effort="low"làm thay đổi phân phối. BroadNet ghi nhậnlow; hãy thử các giá trị khác trước khi dựa vào chúng. - Nếu
cut_offkhác 0, hãy nâng mức trần và chạy lại. Mẫu bị cắt che giấu độ dài thật của nó. - Chạy lại khi model hoặc prompt thay đổi. Phiên bản model mới có thể suy nghĩ nhiều hơn hoặc ít hơn.
Sau đó đặt max_tokens cho từng tác vụ từ kết quả của recommend(). Phân vị 95 cộng 20% giúp phần lớn lời gọi nằm thấp hơn hẳn mức trần, và chỉ đưa những lời gọi dài hiếm hoi sang nhánh retry bên dưới. Công cụ ngân sách token suy luận miễn phí làm phép tính này ngay trên trình duyệt khi bạn đã có số liệu.
Context window giới hạn ngân sách như thế nào?
Context window chứa cả prompt lẫn câu trả lời. Feed giá của BroadNet định nghĩa context_length là “the most tokens one request can hold, prompt and answer together” (bản dịch: số token tối đa một request chứa được, gồm cả prompt và câu trả lời). Do đó:
max_tokens ≤ độ dài context − token prompt
| Model | Context | Chỗ cho max_tokens với prompt 200.000 token |
|---|---|---|
| GLM 5.3 | 1.048.576 | 848.576 |
| DeepSeek V4.1 Flash | 1.048.576 | 848.576 |
| Qwen3.8 27B | 262.144 | 62.144 |
Điều này quan trọng với công việc context dài. Một agent đã nuôi lịch sử lên 250.000 token trên Qwen3.8 27B chỉ còn khoảng 12.000 token cho suy nghĩ và câu trả lời. Tác vụ context dài cũng thường cần suy luận nhiều hơn, nên hãy kiểm tra chỗ còn lại ngay lúc gọi, không phải chỉ một lần khi khởi động. Context window và máy tính context window giúp kiểm tra độ vừa.
Phải làm gì khi phản hồi vẫn bị cắt?
Kiểm tra finish_reason ở mọi lời gọi. Nếu là length, câu trả lời bị thiếu hoặc chưa hoàn chỉnh, kể cả khi content có chút chữ. Đừng parse nó như thể đã hoàn chỉnh; một object JSON bị cắt cụt là nguồn lỗi phổ biến ở các bước sau (structured output).
Retry với ngân sách gấp đôi, trong phạm vi context cho phép, tới một mức trần cứng:
import json, urllib.request
FEED = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
CONTEXT = {m["id"]: m.get("context_length") for m in FEED["models"]}
def ask(model, messages, budget=4_000, hard_cap=32_000, **kw):
"""Retry a cut-off reply with a doubled budget, never past the cap or the context window."""
while True:
r = client.chat.completions.create(model=model, messages=messages,
max_tokens=budget, **kw)
if r.choices[0].finish_reason != "length":
return r
room = CONTEXT[model] - r.usage.prompt_tokens # context holds prompt + answer
nxt = min(budget * 2, hard_cap, room)
if nxt <= budget:
raise RuntimeError(f"still cut off at max_tokens={budget}")
print(f"cut off at {budget}, retrying with {nxt}")
budget = nxt
Hai lựa chọn thay cho việc nhân đôi, tùy tác vụ:
- Retry với
reasoning_effort="low"và giữ nguyên ngân sách. Với tác vụ đơn giản, model thường suy nghĩ quá mức, và giảm effort sẽ khắc phục mà không cần mức trần lớn hơn. - Chia nhỏ tác vụ. Nếu một phản hồi liên tục chạm mức trần cao, thường là request đang đòi hỏi quá nhiều thứ cùng lúc.
Ghi log mọi lần bị cắt kèm loại tác vụ. Tỷ lệ tăng lên nghĩa là prompt, model hoặc dữ liệu đầu vào đã thay đổi, và cần đo lại ngân sách. Retry là các lần inference mới và bị tính phí lại, nên hãy giới hạn số lần thử, như trong agent chạy dài: timeout và retry.
Streaming thay đổi bức tranh ra sao?
Với stream=True, phần suy luận diễn ra trước token hiển thị đầu tiên, nên model suy luận có thể trông như bị treo lúc đầu. Trong giao diện chat, hãy hiện trạng thái “đang suy nghĩ” cho tới khi nội dung tới, và đặt timeout phía client có tính cả thời gian suy nghĩ, không chỉ thời gian trả lời.
Một số server còn stream chính văn bản suy luận, trong một trường riêng. Tên trường không theo chuẩn: API của DeepSeek dùng reasoning_content, còn vLLM đã đổi tên trường từ reasoning_content thành reasoning, kèm cảnh báo rằng code client cũ “could silently read an empty” (bản dịch: có thể âm thầm đọc phải một trường rỗng). Tài liệu BroadNet không ghi nhận trường văn bản suy luận nào, nên đừng xây tính năng dựa trên nó khi chưa kiểm tra phản hồi thô cho model của bạn. Nếu có đọc, hãy đọc một cách phòng thủ:
for chunk in stream:
if chunk.choices:
delta = chunk.choices[0].delta
thinking = getattr(delta, "reasoning", None) or getattr(delta, "reasoning_content", None)
# log or display `thinking` only if your provider actually sends it
if delta.content:
print(delta.content, end="")
elif chunk.usage: # last chunk, with include_usage
print("\nreasoning tokens:", getattr(chunk.usage.completion_tokens_details, "reasoning_tokens", None))
Usage trong chunk cuối cần stream_options={"include_usage": True}, điều mà BroadNet có ghi nhận. Xem thêm về stream trong hướng dẫn streaming và giải thích SSE.
Nên gửi tên tham số nào?
| API | Tham số | Bao gồm suy luận |
|---|---|---|
| OpenAI Chat Completions | max_completion_tokens (max_tokens đã ngừng khuyến nghị) |
Có |
| OpenAI Responses | max_output_tokens |
Có |
| BroadNet Inference (Chat Completions) | max_tokens, theo tài liệu |
Có |
| Server vLLM | max_tokens, cộng thinking_token_budget tùy chọn |
Có |
Khi chuyển code giữa các nhà cung cấp, hãy gửi tên mà nhà cung cấp ghi trong tài liệu, và xác nhận bằng một lời gọi thử rằng giới hạn có hiệu lực. Một giới hạn bị âm thầm bỏ qua trông vẫn ổn cho tới khi một phản hồi mất kiểm soát xuất hiện. Checklist chuyển đổi bàn về các tham số khác cũng thay đổi.
BroadNet Inference phù hợp ở đâu
Ba model suy luận của BroadNet báo cáo token suy luận trong usage khi model cung cấp, nên phương pháp đo ở trên chạy được nguyên văn. DeepSeek V4.1 Flash và GLM 5.3 cho nhiều chỗ nhất, với 1.048.576 token context. Qwen3.8 27B có 262.144. Nếu tác vụ không cần suy luận, Gemma 4 VL 26B không được liệt kê là model suy luận và tránh hẳn câu hỏi về ngân sách. Trên gói DeepSeek V4.1 Flash giá cố định, token suy nghĩ không bị tính phí theo token, nhưng phản hồi bị cắt vẫn tốn thời gian, nên cách lập ngân sách tương tự vẫn áp dụng. BroadNet không ghi nhận giới hạn suy luận riêng; nếu bạn cần, hãy dùng nhà cung cấp hoặc server tự host có hỗ trợ.
