BroadRouter

Đặt max_tokens cho model suy luận: phương pháp lập ngân sách token

Đội ngũ BroadNet Inference · 6 phút đọc · Đăng ngày

Trên model suy luận, max_tokens giới hạn chung cả phần suy nghĩ lẫn câu trả lời, nên giới hạn quá chặt có thể kết thúc phản hồi trước khi có chữ nào hiện ra. Hãy đo tổng completion token theo từng loại tác vụ, đặt max_tokens khoảng phân vị 95 cộng 20%, giữ prompt cộng max_tokens trong context window, và retry phản hồi bị cắt với ngân sách gấp đôi tới một mức trần cứng.

Model suy luận suy nghĩ trước khi trả lời, và trên hầu hết API tương thích OpenAI, cả hai cùng lấy từ một ngân sách: max_tokens. Đặt nó như với model không suy luận, vài trăm token cho một câu trả lời ngắn, là sẽ có phản hồi trả về trống với finish_reason: "length". Cách sửa nhanh nằm trong vì sao model suy luận trả về câu trả lời trống. Bài này là phương pháp đằng sau một ngân sách đáng tin: đo, định cỡ từ phân vị, tôn trọng context window, và xử lý những phản hồi vẫn bị cắt.

Về chi phí của suy luận và cách giảm nó, xem token suy luận: vì sao bạn trả cho nhiều đầu ra hơn những gì thấy.

Vì sao ngân sách cạn trước khi có câu trả lời?

Model sinh token theo thứ tự: trước là phần suy luận, sau là câu trả lời hiển thị. Mọi token của cả hai đều tính vào max_tokens. Tài liệu BroadNet nói điều này cho DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B: “the reasoning counts toward max_tokens” (bản dịch: phần suy luận được tính vào max_tokens), và với giới hạn nhỏ thì “the answer comes back empty” (bản dịch: câu trả lời trả về trống). Tham chiếu Chat Completions của OpenAI định nghĩa max_completion_tokens theo cùng cách, là cận trên “including visible output tokens and reasoning tokens” (bản dịch: bao gồm token đầu ra hiển thị và token suy luận).

Vậy câu hỏi cần đặt ra không phải “câu trả lời của tôi dài bao nhiêu?” Mà là “suy luận và câu trả lời cộng lại dài bao nhiêu, cho tác vụ này, ở mức effort này?” Con số này dao động nhiều hơn người ta nghĩ. Hướng dẫn của OpenAI nói model của họ có thể sinh “anywhere from a few hundred to tens of thousands of reasoning tokens” (bản dịch: từ vài trăm đến hàng chục nghìn token suy luận), tùy bài toán.

max_tokens lớn hơn có tốn tiền hơn không?

Không. Đây là lý do phổ biến nhất khiến ngân sách bị đặt quá chặt. max_tokens là mức trần. Bạn bị tính phí theo số token thực sự được sinh ra. Một phản hồi cần 1.800 token tốn như nhau dù mức trần là 4.000 hay 40.000.

Thứ mà mức trần chặt thực sự gây tốn kém:

Mức trần so với nhu cầu Bạn trả gì Bạn nhận gì
Mức trần cao hơn nhu cầu Số token được sinh ra Câu trả lời
Mức trần thấp hơn nhu cầu Toàn bộ mức trần, tất cả là suy luận Không có gì dùng được, cộng một lần retry

Lấy một ví dụ minh họa. Giả sử một phần tư số lời gọi của bạn cần hơn 1.000 token. Với max_tokens=1000, mỗi lời gọi đó tính phí 1.000 token đầu ra cho việc suy nghĩ, không trả về gì và bị retry. Tính trung bình trên tất cả lời gọi, mỗi lời gọi lãng phí thêm 250 token đầu ra, chưa kể chính các lần retry, cộng thêm độ trễ của request thứ hai. Với mức trần 4.000, không có gì bị lãng phí. Trên Qwen3.8 27B, đầu ra có giá $2.17 mỗi 1M token, nên lãng phí sẽ cộng dồn khi khối lượng lớn.

Rủi ro thật của mức trần cao là phản hồi mất kiểm soát: model lặp vòng hoặc suy nghĩ quá mức và sinh nhiều hơn mức cần thiết rất nhiều. Một mức trần cứng sẽ chặn điều đó. Hãy chọn mức trần từ dữ liệu, như dưới đây.

Đo nhu cầu của một tác vụ như thế nào?

Chạy các prompt thật cho một loại tác vụ với mức trần rộng rãi, và ghi lại completion token cùng tỷ lệ suy luận. Khi model có báo cáo, usage.completion_tokens_details.reasoning_tokens cho biết phần suy luận; tài liệu BroadNet có liệt kê trường này.

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/qwen3.8-27b"

def measure(prompts, ceiling=16_000, **kw):
    """Run real prompts with a generous ceiling and return per-call token counts."""
    rows = []
    for p in prompts:
        r = client.chat.completions.create(model=MODEL, max_tokens=ceiling,
                                           messages=[{"role": "user", "content": p}], **kw)
        u, d = r.usage, r.usage.completion_tokens_details
        reasoning = (d.reasoning_tokens or 0) if d else 0
        rows.append({"reasoning": reasoning, "answer": u.completion_tokens - reasoning,
                     "finish": r.choices[0].finish_reason})
    return rows

def pct(values, q):
    values = sorted(values)
    return values[min(len(values) - 1, int(q * len(values)))]

def recommend(rows, margin=1.2):
    total = [r["reasoning"] + r["answer"] for r in rows]
    return {"p50": pct(total, 0.5), "p95": pct(total, 0.95), "max": max(total),
            "max_tokens": int(pct(total, 0.95) * margin),
            "cut_off": sum(r["finish"] == "length" for r in rows)}

# print(recommend(measure(my_prompts)))                       # default effort
# print(recommend(measure(my_prompts, reasoning_effort="low")))

Quy tắc để có con số đáng tin:

  1. Mỗi lần chạy một loại tác vụ. Phân loại, trích xuất, review code và lập kế hoạch có phân phối rất khác nhau. Một max_tokens chung cho tất cả hoặc phí tiền vào retry, hoặc để lọt các phản hồi mất kiểm soát.
  2. Từ 50 prompt thật trở lên. Phân vị 95 của mười mẫu chỉ đơn giản là mẫu lớn nhất.
  3. Chạy ở mỗi mức effort bạn dùng. reasoning_effort="low" làm thay đổi phân phối. BroadNet ghi nhận low; hãy thử các giá trị khác trước khi dựa vào chúng.
  4. Nếu cut_off khác 0, hãy nâng mức trần và chạy lại. Mẫu bị cắt che giấu độ dài thật của nó.
  5. Chạy lại khi model hoặc prompt thay đổi. Phiên bản model mới có thể suy nghĩ nhiều hơn hoặc ít hơn.

Sau đó đặt max_tokens cho từng tác vụ từ kết quả của recommend(). Phân vị 95 cộng 20% giúp phần lớn lời gọi nằm thấp hơn hẳn mức trần, và chỉ đưa những lời gọi dài hiếm hoi sang nhánh retry bên dưới. Công cụ ngân sách token suy luận miễn phí làm phép tính này ngay trên trình duyệt khi bạn đã có số liệu.

Context window giới hạn ngân sách như thế nào?

Context window chứa cả prompt lẫn câu trả lời. Feed giá của BroadNet định nghĩa context_length là “the most tokens one request can hold, prompt and answer together” (bản dịch: số token tối đa một request chứa được, gồm cả prompt và câu trả lời). Do đó:

max_tokens ≤ độ dài context − token prompt

Model Context Chỗ cho max_tokens với prompt 200.000 token
GLM 5.3 1.048.576 848.576
DeepSeek V4.1 Flash 1.048.576 848.576
Qwen3.8 27B 262.144 62.144

Điều này quan trọng với công việc context dài. Một agent đã nuôi lịch sử lên 250.000 token trên Qwen3.8 27B chỉ còn khoảng 12.000 token cho suy nghĩ và câu trả lời. Tác vụ context dài cũng thường cần suy luận nhiều hơn, nên hãy kiểm tra chỗ còn lại ngay lúc gọi, không phải chỉ một lần khi khởi động. Context window và máy tính context window giúp kiểm tra độ vừa.

Phải làm gì khi phản hồi vẫn bị cắt?

Kiểm tra finish_reason ở mọi lời gọi. Nếu là length, câu trả lời bị thiếu hoặc chưa hoàn chỉnh, kể cả khi content có chút chữ. Đừng parse nó như thể đã hoàn chỉnh; một object JSON bị cắt cụt là nguồn lỗi phổ biến ở các bước sau (structured output).

Retry với ngân sách gấp đôi, trong phạm vi context cho phép, tới một mức trần cứng:

import json, urllib.request

FEED = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
CONTEXT = {m["id"]: m.get("context_length") for m in FEED["models"]}

def ask(model, messages, budget=4_000, hard_cap=32_000, **kw):
    """Retry a cut-off reply with a doubled budget, never past the cap or the context window."""
    while True:
        r = client.chat.completions.create(model=model, messages=messages,
                                           max_tokens=budget, **kw)
        if r.choices[0].finish_reason != "length":
            return r
        room = CONTEXT[model] - r.usage.prompt_tokens        # context holds prompt + answer
        nxt = min(budget * 2, hard_cap, room)
        if nxt <= budget:
            raise RuntimeError(f"still cut off at max_tokens={budget}")
        print(f"cut off at {budget}, retrying with {nxt}")
        budget = nxt

Hai lựa chọn thay cho việc nhân đôi, tùy tác vụ:

  • Retry với reasoning_effort="low" và giữ nguyên ngân sách. Với tác vụ đơn giản, model thường suy nghĩ quá mức, và giảm effort sẽ khắc phục mà không cần mức trần lớn hơn.
  • Chia nhỏ tác vụ. Nếu một phản hồi liên tục chạm mức trần cao, thường là request đang đòi hỏi quá nhiều thứ cùng lúc.

Ghi log mọi lần bị cắt kèm loại tác vụ. Tỷ lệ tăng lên nghĩa là prompt, model hoặc dữ liệu đầu vào đã thay đổi, và cần đo lại ngân sách. Retry là các lần inference mới và bị tính phí lại, nên hãy giới hạn số lần thử, như trong agent chạy dài: timeout và retry.

Streaming thay đổi bức tranh ra sao?

Với stream=True, phần suy luận diễn ra trước token hiển thị đầu tiên, nên model suy luận có thể trông như bị treo lúc đầu. Trong giao diện chat, hãy hiện trạng thái “đang suy nghĩ” cho tới khi nội dung tới, và đặt timeout phía client có tính cả thời gian suy nghĩ, không chỉ thời gian trả lời.

Một số server còn stream chính văn bản suy luận, trong một trường riêng. Tên trường không theo chuẩn: API của DeepSeek dùng reasoning_content, còn vLLM đã đổi tên trường từ reasoning_content thành reasoning, kèm cảnh báo rằng code client cũ “could silently read an empty” (bản dịch: có thể âm thầm đọc phải một trường rỗng). Tài liệu BroadNet không ghi nhận trường văn bản suy luận nào, nên đừng xây tính năng dựa trên nó khi chưa kiểm tra phản hồi thô cho model của bạn. Nếu có đọc, hãy đọc một cách phòng thủ:

for chunk in stream:
    if chunk.choices:
        delta = chunk.choices[0].delta
        thinking = getattr(delta, "reasoning", None) or getattr(delta, "reasoning_content", None)
        # log or display `thinking` only if your provider actually sends it
        if delta.content:
            print(delta.content, end="")
    elif chunk.usage:                                  # last chunk, with include_usage
        print("\nreasoning tokens:", getattr(chunk.usage.completion_tokens_details, "reasoning_tokens", None))

Usage trong chunk cuối cần stream_options={"include_usage": True}, điều mà BroadNet có ghi nhận. Xem thêm về stream trong hướng dẫn streaming và giải thích SSE.

Nên gửi tên tham số nào?

API Tham số Bao gồm suy luận
OpenAI Chat Completions max_completion_tokens (max_tokens đã ngừng khuyến nghị) Có
OpenAI Responses max_output_tokens Có
BroadNet Inference (Chat Completions) max_tokens, theo tài liệu Có
Server vLLM max_tokens, cộng thinking_token_budget tùy chọn Có

Khi chuyển code giữa các nhà cung cấp, hãy gửi tên mà nhà cung cấp ghi trong tài liệu, và xác nhận bằng một lời gọi thử rằng giới hạn có hiệu lực. Một giới hạn bị âm thầm bỏ qua trông vẫn ổn cho tới khi một phản hồi mất kiểm soát xuất hiện. Checklist chuyển đổi bàn về các tham số khác cũng thay đổi.

BroadNet Inference phù hợp ở đâu

Ba model suy luận của BroadNet báo cáo token suy luận trong usage khi model cung cấp, nên phương pháp đo ở trên chạy được nguyên văn. DeepSeek V4.1 Flash và GLM 5.3 cho nhiều chỗ nhất, với 1.048.576 token context. Qwen3.8 27B có 262.144. Nếu tác vụ không cần suy luận, Gemma 4 VL 26B không được liệt kê là model suy luận và tránh hẳn câu hỏi về ngân sách. Trên gói DeepSeek V4.1 Flash giá cố định, token suy nghĩ không bị tính phí theo token, nhưng phản hồi bị cắt vẫn tốn thời gian, nên cách lập ngân sách tương tự vẫn áp dụng. BroadNet không ghi nhận giới hạn suy luận riêng; nếu bạn cần, hãy dùng nhà cung cấp hoặc server tự host có hỗ trợ.

Câu hỏi thường gặp

Vì sao model suy luận của tôi trả về phản hồi trống?

Model đã dùng hết ngân sách max_tokens cho phần suy luận ẩn trước khi kịp viết câu trả lời. Khi đó finish_reason là "length". Hãy tăng max_tokens, hạ reasoning_effort, hoặc cả hai. Bài này có link tới một hướng dẫn ngắn với cách sửa nhanh.

Nên đặt max_tokens bao nhiêu cho model suy luận?

Hãy đo trước. Chạy từ 50 prompt thật trở lên với mức trần rộng rãi, lấy phân vị 95 của completion_tokens cho tác vụ đó và cộng thêm khoảng 20%. Tài liệu BroadNet đưa ra mức sàn 1.000 token trở lên; OpenAI gợi ý dành 25.000 token khi mới bắt đầu dùng model của họ.

max_tokens cao hơn có tốn tiền hơn không?

Bản thân nó thì không. Bạn bị tính phí theo số token model sinh ra, không phải theo mức trần. Mức trần cao chỉ tốn hơn khi phản hồi lẽ ra đã bị cắt, và khi đó phản hồi bị cắt cũng đã khiến bạn tốn một lần retry.

max_completion_tokens có giống max_tokens không?

Trên OpenAI, max_completion_tokens thay thế max_tokens đã ngừng khuyến nghị và ghi rõ là bao gồm token suy luận. Nhiều nhà cung cấp tương thích OpenAI lại ghi nhận max_tokens. Tài liệu BroadNet dùng max_tokens và nói suy luận được tính vào đó.

Có giới hạn riêng phần suy luận và phần câu trả lời được không?

Chỉ khi server hỗ trợ. vLLM có tham số thinking_token_budget, và một số nhà cung cấp có tham số riêng. BroadNet ghi nhận việc đặt reasoning_effort là low, không có giới hạn suy luận riêng, nên hãy lập ngân sách cho cả hai cùng lúc.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity