BroadRouter

ریزننگ ماڈل خالی جواب کیوں لوٹاتا ہے

اپ ڈیٹ

ماڈل نے نظر آنے والا جواب شروع کرنے سے پہلے پورا max_tokens بجٹ ریزننگ پر خرچ کر دیا۔ BroadNet Inference پر DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B پہلے ریزننگ کرتے ہیں، اور ریزننگ max_tokens میں گنی جاتی ہے۔ 1,000 یا اس سے زیادہ ٹوکن دیں، یا reasoning_effort کو low پر سیٹ کریں۔

آپ max_tokens: 100 کے ساتھ ایک مختصر پرامپٹ بھیجتے ہیں، درخواست کامیاب ہوتی ہے، اور choices[0].message.content خالی ہے۔ کچھ خراب نہیں ہوا: جواب کبھی شروع ہی نہیں ہوا۔

ہوتا کیا ہے

ریزننگ ماڈل نظر آنے والے جواب سے پہلے ایک چھپی ہوئی سوچ (chain of thought) لکھتے ہیں۔ دونوں ایک ہی max_tokens بجٹ میں شریک ہیں۔ حد چھوٹی ہو تو ریزننگ سارا بجٹ لے لیتی ہے، اور معیاری chat-completions ساخت میں تب finish_reason کی قدر length ہوتی ہے۔

تین حل

1. جگہ چھوڑیں۔ BroadNet کی دستاویزات کے مشورے کے مطابق max_tokens کو 1,000 یا اس سے زیادہ رکھیں۔ ریزننگ ماڈلز کے لیے max_tokens کیلکولیٹر آپ کے جواب کی لمبائی کے حساب سے حد طے کرتا ہے اور لاگت دکھاتا ہے۔

2. کم ریزننگ کروائیں۔ آسان کاموں کے لیے reasoning_effort کو low پر سیٹ کریں:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. usage پر نظر رکھیں۔ جب ماڈل اسے رپورٹ کرتا ہے تو usage.completion_tokens_details.reasoning_tokens بتاتا ہے کہ کتنا ریزننگ میں گیا:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

اسٹریم میں stream_options={"include_usage": True} شامل کریں، وہی usage آخری chunk میں آتا ہے۔ اسٹریمنگ chat completions دیکھیں۔

کون سے ماڈل ریزننگ کرتے ہیں

ماڈل پہلے ریزننگ کرتا ہے
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) ہاں
GLM 5.3 (broadnet/glm-5.3) ہاں
Qwen3.8 27B (broadnet/qwen3.8-27b) ہاں
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) درج نہیں

مسائل کا حل

  • content خالی، finish_reason ہے length۔ max_tokens بڑھائیں یا reasoning_effort کو low پر سیٹ کریں۔
  • content خالی، finish_reason ہے stop۔ وجہ حد نہیں تھی۔ اپنا پرامپٹ جانچیں اور پورا جواب پرنٹ کر کے دیکھیں کہ کیا واپس آیا۔
  • completion_tokens_details پر AttributeError۔ ماڈل نے اس درخواست کے لیے تفصیل رپورٹ نہیں کی؛ اوپر کی مثال کی طرح None کی جانچ رکھیں۔
  • اسٹریم میں پہلا ٹوکن دیر سے آتا ہے۔ ماڈل جواب لکھنے سے پہلے ریزننگ کر رہا ہے۔ کم reasoning_effort انتظار گھٹا سکتا ہے۔

اگر آپ دن بھر ایجنٹس چلاتے ہیں تو استعمال کے مطابق ادائیگی میں ریزننگ ٹوکن جمع ہوتے جاتے ہیں۔ BroadNet پرائسنگ کیلکولیٹر دکھاتا ہے کہ کب ایک فلیٹ لامحدود پلان سستا پڑتا ہے۔

عام سوالات

کیا ریزننگ کے پیسے لگتے ہیں؟

استعمال کے مطابق ادائیگی میں ریزننگ completion ٹوکنز کے اندر رپورٹ ہوتی ہے، جن کا بل آؤٹ پٹ کی قیمت پر بنتا ہے۔ DeepSeek V4.1 Flash کے لامحدود پلان پر کوئی ٹوکن میٹر نہیں، اس لیے ان کا کوئی اضافی خرچ نہیں۔

کیا BroadNet Gemma 4 VL 26B ریزننگ کرتا ہے؟

BroadNet کی دستاویزات ریزننگ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B کے لیے درج کرتی ہیں، Gemma 4 VL 26B کے لیے نہیں۔

finish_reason length ہو تو message content خالی کیوں ہوتا ہے؟

نظر آنے والا جواب شروع ہونے سے پہلے ٹوکن بجٹ ختم ہو گیا۔ ریزننگ ماڈل پہلے اپنی ریزننگ لکھتا ہے، اور وہ ٹوکن max_tokens میں گنے جاتے ہیں۔ max_tokens کو 1,000 یا زیادہ کریں، یا reasoning_effort کم کریں۔

reasoning_effort low کیا کرتا ہے؟

یہ ماڈل سے جواب دینے سے پہلے کم ریزننگ کرنے کو کہتا ہے۔ جب چھوٹی حد کی وجہ سے جواب خالی رہ جائے تو BroadNet کی دستاویزات بڑے max_tokens کے متبادل کے طور پر اسے تجویز کرتی ہیں۔ اسے درجہ بندی یا ایکسٹریکشن جیسے آسان کاموں کے لیے استعمال کریں۔

کیسے دیکھوں کہ کتنے ٹوکن ریزننگ میں گئے؟

جب ماڈل اسے رپورٹ کرے تو جواب میں usage.completion_tokens_details.reasoning_tokens پڑھیں۔ اسٹریم میں stream_options کے ساتھ include_usage true بھیجیں اور اسے آخری chunk سے پڑھیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں