BroadRouter

Mengapa model penaakulan memulangkan jawapan kosong

Dikemas kini

Model menghabiskan seluruh bajet max_tokens untuk penaakulan sebelum sempat memulakan jawapan yang kelihatan. Di BroadNet Inference, DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan dahulu, dan penaakulan dikira dalam max_tokens. Peruntukkan 1,000 token atau lebih, atau tetapkan reasoning_effort kepada low.

Anda menghantar prompt pendek dengan max_tokens: 100, permintaan berjaya, tetapi choices[0].message.content kosong. Tiada apa yang rosak: jawapan itu tidak pernah bermula.

Apa yang berlaku

Model penaakulan menulis rantaian pemikiran (chain of thought) tersembunyi sebelum jawapan yang kelihatan. Kedua-duanya berkongsi satu bajet max_tokens. Dengan had yang kecil, penaakulan menggunakan semuanya, dan dalam bentuk chat completions yang standard, finish_reason kemudiannya ialah length.

Tiga cara membaikinya

1. Beri ruang. Tetapkan max_tokens kepada 1,000 atau lebih, seperti yang dinasihatkan oleh dokumentasi BroadNet. Kalkulator max_tokens untuk model penaakulan menetapkan saiz had mengikut panjang jawapan anda dan menunjukkan kosnya.

2. Kurangkan penaakulan. Tetapkan reasoning_effort kepada low untuk tugas mudah:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. Pantau usage. Apabila model melaporkannya, usage.completion_tokens_details.reasoning_tokens menunjukkan berapa banyak yang digunakan untuk penaakulan:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

Dalam strim, tambah stream_options={"include_usage": True} dan usage yang sama tiba dalam chunk terakhir. Lihat strim chat completions.

Model mana yang membuat penaakulan

Model Membuat penaakulan dahulu
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) Ya
GLM 5.3 (broadnet/glm-5.3) Ya
Qwen3.8 27B (broadnet/qwen3.8-27b) Ya
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) Tidak disenaraikan

Penyelesaian masalah

  • content kosong, finish_reason ialah length. Naikkan max_tokens atau tetapkan reasoning_effort kepada low.
  • content kosong, finish_reason ialah stop. Had bukan puncanya. Semak prompt anda dan cetak respons penuh untuk melihat apa yang dipulangkan.
  • AttributeError pada completion_tokens_details. Model tidak melaporkan pecahan itu untuk permintaan tersebut; semak untuk None seperti dalam contoh di atas.
  • Token pertama lambat dalam strim. Model sedang membuat penaakulan sebelum menulis jawapan. reasoning_effort yang lebih rendah boleh memendekkan masa menunggu.

Jika anda menjalankan ejen sepanjang hari, token penaakulan bertambah pada bayar ikut guna. Kalkulator harga BroadNet menunjukkan bila pelan tanpa had kadar tetap lebih murah.

Soalan lazim

Adakah penaakulan dikenakan bayaran?

Pada bayar ikut guna, penaakulan dilaporkan di dalam token completion, yang dibilkan pada harga output. Pada pelan tanpa had untuk DeepSeek V4.1 Flash tiada meter token, jadi tiada kos tambahan.

Adakah BroadNet Gemma 4 VL 26B membuat penaakulan?

Dokumentasi BroadNet menyenaraikan penaakulan untuk DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B, bukan untuk Gemma 4 VL 26B.

Mengapakah kandungan mesej kosong apabila finish_reason ialah length?

Bajet token habis sebelum jawapan yang kelihatan bermula. Model penaakulan menulis penaakulannya dahulu, dan token itu dikira dalam max_tokens. Naikkan max_tokens kepada 1,000 atau lebih, atau rendahkan reasoning_effort.

Apakah fungsi reasoning_effort low?

Ia meminta model mengurangkan penaakulan sebelum menjawab. Dokumentasi BroadNet mencadangkannya sebagai alternatif kepada max_tokens yang lebih besar apabila had yang pendek menyebabkan jawapan kosong. Gunakannya untuk tugas mudah seperti pengelasan atau pengekstrakan.

Bagaimanakah saya melihat berapa banyak token digunakan untuk penaakulan?

Baca usage.completion_tokens_details.reasoning_tokens dalam respons, jika model melaporkannya. Dalam strim, hantar stream_options dengan include_usage true dan bacanya daripada chunk terakhir.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity