BroadRouter

Token suy luận: vì sao bạn trả cho nhiều đầu ra hơn những gì thấy

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày · Cập nhật

Model suy luận viết phần suy nghĩ ẩn trước câu trả lời, và các token suy luận đó được tính theo giá đầu ra. Một câu trả lời 200 token có thể kèm 1.000 token suy nghĩ trở lên. Trên BroadNet Inference, DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B có suy luận. Hãy giảm chi phí bằng reasoning_effort đặt là low, max_tokens hợp lý và model không suy luận cho bước đơn giản.

Bạn gửi một câu hỏi ngắn, nhận về câu trả lời hai dòng, và hóa đơn ghi 1.400 token đầu ra. Không có gì sai cả. Model đã suy nghĩ trước khi trả lời, và phần suy nghĩ bị tính phí. Bài này giải thích token suy luận được đếm thế nào, tốn bao nhiêu trên từng model, và bốn thiết lập giúp kiểm soát chúng.

Token suy luận là gì?

Một model suy luận viết một chuỗi suy nghĩ nội bộ, rồi mới viết câu trả lời hiển thị. Cả hai đến từ cùng một lần sinh. Phần suy nghĩ được tạo thành từ token suy luận. Trong response chat-completions chuẩn, câu trả lời nằm trong message.content, còn phần suy nghĩ chỉ được đếm, không được hiển thị.

Hướng dẫn suy luận của OpenAI nêu rõ quy tắc: token suy luận “still occupy space in the model’s context window and are billed as” (bản dịch: vẫn chiếm chỗ trong context window của model và được tính phí như) token đầu ra. Các nhà cung cấp khác cũng theo cùng quy tắc.

Token suy luận được tính phí thế nào?

Chúng là một phần của completion_tokens, nên chịu giá đầu ra. Đầu ra là đồng hồ đắt đỏ:

Model Suy luận trước Đầu ra mỗi 1M Đầu vào mỗi 1M
DeepSeek V4.1 Flash Có $0.52 $0.175
GLM 5.3 Có $3.46 $0.78
Qwen3.8 27B Có $2.17 $0.175
Gemma 4 VL 26B Không ghi $0.22 $0.10

Giá là của BroadNet Inference, đồng bộ 2026-11-14. Các host khác tính bao nhiêu cho cùng model có trong bảng giá API LLM, ví dụ GLM 5.3 giữa các nhà cung cấp.

Suy luận có thể làm hóa đơn tăng bao nhiêu?

Lấy ví dụ một bộ phân loại trả về nhãn một từ, khoảng 10 token hiển thị. Nếu model suy nghĩ 1.000 token trước, 99% hóa đơn đầu ra là phần suy nghĩ.

Ở quy mô lớn: 1.000 câu trả lời, mỗi câu kèm 1.000 token suy luận, cộng thêm 1M token đầu ra. Con số đó tốn $0.52 trên DeepSeek V4.1 Flash, $2.17 trên Qwen3.8 27B và $3.46 trên GLM 5.3, cộng thêm vào phần câu trả lời hiển thị.

Lượng suy luận thay đổi theo tác vụ. Toán khó hay suy luận code trên nhiều file có thể lên tới hàng nghìn token. Một lời chào có thể gần như không cần. Đó là lý do phải đo.

Đo token suy luận thế nào?

Khối usage báo cáo chúng khi model cung cấp con số:

r = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=[{"role": "user", "content": "Is 'refund my order' a billing or shipping intent?"}],
    max_tokens=1000,
)
u = r.usage
reasoning = (u.completion_tokens_details.reasoning_tokens or 0) if u.completion_tokens_details else 0
print("output:", u.completion_tokens, "reasoning:", reasoning,
      "share:", round(reasoning / max(u.completion_tokens, 1), 2))

Hãy ghi log số liệu này theo từng loại tác vụ trong một tuần. Bạn thường sẽ thấy một vài tác vụ chiếm phần lớn phần suy nghĩ. Khi streaming, hãy thêm stream_options: {"include_usage": true}; số liệu đến trong chunk cuối cùng (hướng dẫn streaming).

Bốn cách kiểm soát chi phí suy luận

1. Hạ reasoning_effort cho tác vụ đơn giản

reasoning_effort yêu cầu model suy nghĩ ít hơn. Các hướng dẫn của BroadNet dùng low cho phân loại, trích xuất và định dạng:

client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", reasoning_effort="low",
                               max_tokens=1000, messages=msgs)

OpenAI ghi nhận một dải giá trị rộng hơn trên các model của họ, từ none và minimal qua low, medium và high đến xhigh và max, và lưu ý rằng “some models support only a subset” (bản dịch: một số model chỉ hỗ trợ một phần trong đó). Hãy kiểm tra model của bạn nhận những giá trị nào, và so số token đầu ra trước và sau trên cùng bộ mẫu.

2. Đặt max_tokens làm trần, không phải để siết

max_tokens giới hạn chung cả suy luận và câu trả lời. Nó chặn được câu trả lời mất kiểm soát, nhưng nếu đặt quá thấp, model có thể dùng hết ngân sách để suy nghĩ và trả về câu trả lời trống với finish_reason: "length". Bạn trả tiền cho phần suy nghĩ đó mà vẫn phải retry. BroadNet đề xuất từ 1.000 token trở lên cho model suy luận. Vì sao model suy luận trả về câu trả lời trống.

3. Định tuyến bước dễ sang model không suy luận

Không phải bước nào cũng cần suy nghĩ. Định dạng JSON, đổi tên trường hay trả lời tra cứu FAQ có thể chuyển sang Gemma 4 VL 26B với giá $0.22 mỗi 1M đầu ra, model mà BroadNet không ghi khả năng suy luận. Hãy giữ model suy luận cho lập kế hoạch, debug và câu trả lời nhiều bước. Kiểm tra chất lượng trên mẫu của chính bạn trước khi định tuyến.

4. Bỏ “hãy suy nghĩ từng bước” khỏi prompt

Model suy luận vốn đã suy nghĩ. Yêu cầu thêm phần suy luận từng bước hiển thị khiến chúng viết hai lần: một lần ẩn, một lần trong câu trả lời. Hãy yêu cầu câu trả lời cuối cùng theo định dạng bạn cần.

Nên dùng thiết lập nào cho tác vụ nào?

Tác vụ Mức suy luận max_tokens Gợi ý model
Phân loại, định tuyến low 1.000 Gemma 4 VL 26B hoặc DeepSeek V4.1 Flash
Trích xuất sang JSON low 1.000 đến 2.000 DeepSeek V4.1 Flash, GLM 5.3 cho đầu ra có cấu trúc
Soạn câu trả lời cho khách hàng low hoặc mặc định 2.000 DeepSeek V4.1 Flash
Debug, lập kế hoạch, review code mặc định hoặc cao hơn 8.000 hoặc không đặt DeepSeek V4.1 Flash hoặc GLM 5.3

Đây là điểm khởi đầu. Hãy đo token đầu ra và chất lượng trên dữ liệu của bạn, rồi điều chỉnh.

Khi nào suy luận không còn tốn thêm tiền?

Trên gói giá cố định. Gói Full Moon của BroadNet có giá $60 mỗi phiên mỗi tháng cho DeepSeek V4.1 Flash không giới hạn và không đếm token, nên token suy luận không có chi phí theo token. Chúng vẫn tốn thời gian: ở tốc độ điển hình khoảng 100 token mỗi giây, mọi token suy luận đều được sinh ra trước khi câu trả lời bắt đầu, nên suy nghĩ càng dài thì câu trả lời càng đến chậm. Khi nào gói giá cố định thắng trả theo token, và mười cách khác để giảm hóa đơn của coding agent.

BroadNet Inference phù hợp ở đâu?

BroadNet chạy ba model suy luận và một model không ghi khả năng suy luận trên một key tương thích OpenAI tại https://inference.broadnet.ai/v1, với mức sử dụng được báo cáo trong mỗi response. Điều đó giúp định tuyến theo tác vụ và đo sự khác biệt một cách đơn giản. Nếu bạn cần một model đóng có bản tóm tắt suy luận hiển thị, hãy dùng API của nhà cung cấp đó; danh mục chat của BroadNet không có model đóng nào. Xem các gói.

Câu hỏi thường gặp

Token suy luận được tính là đầu vào hay đầu ra?

Là đầu ra. Chúng do model sinh ra, được báo cáo trong completion_tokens và tính theo giá đầu ra mỗi 1M token.

Có tắt hẳn suy luận được không?

Tùy model. OpenAI ghi nhận các giá trị effort có thể gồm none hoặc minimal trên một số model. Trên BroadNet, hãy đặt reasoning_effort là low, hoặc dùng Gemma 4 VL 26B, model mà BroadNet không ghi khả năng suy luận.

Đặt max_tokens thấp có tiết kiệm tiền với model suy luận không?

Chỉ một phần. Nó đặt trần cho hóa đơn, nhưng nếu suy luận dùng hết ngân sách thì bạn trả tiền cho phần suy nghĩ và nhận về câu trả lời trống. Thay vào đó hãy hạ effort, và giữ max_tokens từ 1.000 trở lên.

Tôi có thấy được nội dung suy luận không?

Thường thì không có trong trường content. Khối usage báo cáo số token suy luận đã dùng, khi model có báo cáo, trong completion_tokens_details.reasoning_tokens.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity