يفكّر نموذج الاستدلال المنطقي قبل أن يجيب، وفي معظم الواجهات المتوافقة مع OpenAI يخرج الاثنان من ميزانية واحدة: max_tokens. اضبطها كما تفعل مع نموذج لا يستدل، بضع مئات من الرموز لإجابة قصيرة، فتعود بعض الردود فارغة مع finish_reason: "length". الحل السريع في لماذا يعيد نموذج الاستدلال إجابة فارغة. أما هذا المقال فيشرح الطريقة التي تمنحك ميزانية يمكن الوثوق بها: القياس، والتحديد من المئينات، واحترام نافذة السياق، والتعامل مع الردود التي تظل تُقطع.
ولمعرفة تكلفة الاستدلال وطرق خفضها، راجع رموز الاستدلال: لماذا تدفع مقابل مخرجات أكثر مما تراه.
لماذا تنفد الميزانية قبل الإجابة؟
يولّد النموذج بالترتيب: الاستدلال أولًا، ثم الإجابة الظاهرة. وكل رمز من الاثنين يُحتسب ضمن max_tokens. تقول وثائق BroadNet ذلك عن DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B: “the reasoning counts toward max_tokens” (الترجمة: يُحتسب الاستدلال ضمن max_tokens)، ومع حد صغير “the answer comes back empty” (الترجمة: تعود الإجابة فارغة). ويعرّف مرجع OpenAI Chat Completions المعامل max_completion_tokens بالطريقة نفسها، كحد أعلى “including visible output tokens and reasoning tokens” (الترجمة: يشمل رموز المخرجات الظاهرة ورموز الاستدلال).
فالسؤال الصحيح ليس “كم طول إجابتي؟”، بل “كم طول الاستدلال والإجابة معًا، في هذه المهمة، بهذا المستوى من الجهد؟”. وهذا يتفاوت أكثر مما يتوقعه الناس. يقول دليل OpenAI إن نماذجها قد تولّد “anywhere from a few hundred to tens of thousands of reasoning tokens” (الترجمة: ما بين بضع مئات وعشرات الآلاف من رموز الاستدلال)، بحسب المسألة.
هل تكلّف قيمة max_tokens الأكبر أكثر؟
لا. وهذا أكثر سبب شيوعًا لضبط الميزانيات بقيم ضيقة جدًا. فـ max_tokens سقف. وتُحتسب عليك الرموز المولَّدة فعلًا. والرد الذي يحتاج إلى 1,800 رمز يكلّف المبلغ نفسه سواء كان السقف 4,000 أو 40,000.
أما ما يكلّفه السقف الضيق فهو:
| السقف مقابل الحاجة | ما تدفعه | ما تحصل عليه |
|---|---|---|
| السقف أعلى من الحاجة | الرموز المولَّدة | الإجابة |
| السقف أقل من الحاجة | السقف كاملًا، وكله استدلال | لا شيء قابل للاستخدام، إضافة إلى إعادة محاولة |
خذ مثالًا توضيحيًا. افترض أن ربع استدعاءاتك يحتاج إلى أكثر من 1,000 رمز. مع max_tokens=1000، يُحتسب على كل استدعاء من هذه 1,000 رمز إخراج من التفكير، ولا يعيد شيئًا، ثم تُعاد محاولته. وهذا يضيف في المتوسط 250 رمز إخراج مهدرًا لكل استدعاء عبر جميع الاستدعاءات، قبل احتساب إعادات المحاولة نفسها، إضافة إلى زمن انتظار طلب ثانٍ. ومع سقف 4,000 لا يُهدر شيء. وفي Qwen3.8 27B يكلّف الإخراج $2.17 لكل مليون رمز، فيتراكم الهدر مع الحجم.
الخطر الحقيقي للسقف المرتفع هو الرد الجامح: نموذج يدخل في حلقة أو يُفرط في التفكير فيولّد أكثر بكثير مما يلزم. والسقف الصارم يحدّ ذلك. اختر السقف من البيانات، كما يلي.
كيف تقيس ما تحتاجه المهمة؟
شغّل أوامر حقيقية لنوع مهمة واحد بسقف سخي، وسجّل رموز الإكمال وحصة الاستدلال منها. وحين يُبلغ النموذج عنها، يعطيك usage.completion_tokens_details.reasoning_tokens جزء الاستدلال؛ ووثائق BroadNet تذكر هذا الحقل.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/qwen3.8-27b"
def measure(prompts, ceiling=16_000, **kw):
"""Run real prompts with a generous ceiling and return per-call token counts."""
rows = []
for p in prompts:
r = client.chat.completions.create(model=MODEL, max_tokens=ceiling,
messages=[{"role": "user", "content": p}], **kw)
u, d = r.usage, r.usage.completion_tokens_details
reasoning = (d.reasoning_tokens or 0) if d else 0
rows.append({"reasoning": reasoning, "answer": u.completion_tokens - reasoning,
"finish": r.choices[0].finish_reason})
return rows
def pct(values, q):
values = sorted(values)
return values[min(len(values) - 1, int(q * len(values)))]
def recommend(rows, margin=1.2):
total = [r["reasoning"] + r["answer"] for r in rows]
return {"p50": pct(total, 0.5), "p95": pct(total, 0.95), "max": max(total),
"max_tokens": int(pct(total, 0.95) * margin),
"cut_off": sum(r["finish"] == "length" for r in rows)}
# print(recommend(measure(my_prompts))) # default effort
# print(recommend(measure(my_prompts, reasoning_effort="low")))
قواعد للحصول على رقم يمكن الوثوق به:
- نوع مهمة واحد في كل تشغيل. للتصنيف والاستخراج ومراجعة الشيفرة والتخطيط توزيعات مختلفة جدًا. وقيمة
max_tokensعامة واحدة إما تهدر المال في إعادات المحاولة أو تسمح بمرور الردود الجامحة. - 50 أمرًا حقيقيًا أو أكثر. فالمئين 95 لعشر عينات ليس إلا أكبرها.
- شغّل القياس عند كل مستوى جهد تستخدمه. تغيّر
reasoning_effort="low"التوزيع. توثّق BroadNet القيمةlow؛ واختبر القيم الأخرى قبل الاعتماد عليها. - إذا لم تكن قيمة
cut_offصفرًا، فارفع السقف وأعد التشغيل. فالعينة المقطوعة تخفي طولها الحقيقي. - أعد القياس حين يتغير النموذج أو الأمر. فقد يفكّر إصدار جديد من النموذج أكثر أو أقل.
ثم اضبط max_tokens لكل مهمة من نتيجة recommend(). فالمئين 95 مع 20% يُبقي معظم الاستدعاءات أدنى من السقف بكثير، ولا يرسل إلى مسار إعادة المحاولة أدناه إلا الرد الطويل النادر. وتُجري أداة ميزانية رموز الاستدلال المجانية هذا الحساب في متصفحك حين تتوفر لديك أرقامك.
كيف تحدّ نافذة السياق الميزانية؟
تضم نافذة السياق الأمر والإجابة معًا. ويعرّف موجز أسعار BroadNet الحقل context_length بأنه “the most tokens one request can hold, prompt and answer together” (الترجمة: أكبر عدد من الرموز يمكن أن يضمه طلب واحد، الأمر والإجابة معًا). إذن:
max_tokens ≤ طول السياق − رموز الأمر
| النموذج | السياق | المساحة المتاحة لـ max_tokens مع أمر من 200,000 رمز |
|---|---|---|
| GLM 5.3 | 1,048,576 | 848,576 |
| DeepSeek V4.1 Flash | 1,048,576 | 848,576 |
| Qwen3.8 27B | 262,144 | 62,144 |
وهذا مهم في العمل بسياق طويل. فالوكيل الذي نما سجلّه إلى 250,000 رمز على Qwen3.8 27B لم يبقَ له إلا نحو 12,000 رمز للتفكير والإجابة. كما تميل مهام السياق الطويل إلى الحاجة إلى استدلال أكثر، فتحقّق من المساحة المتبقية لحظة الاستدعاء، لا مرة واحدة عند البدء. ويغطي نافذة السياق وحاسبة نافذة السياق مسألة الملاءمة.
ماذا تفعل حين يظل الرد مقطوعًا؟
افحص finish_reason في كل استدعاء. فإذا كانت قيمته length، فالإجابة مفقودة أو غير مكتملة، حتى لو كان في content بعض النص. لا تحلّله كأنه مكتمل؛ فكائن JSON مبتور مصدر شائع للأخطاء في المراحل اللاحقة (المخرجات المهيكلة).
أعد المحاولة بميزانية مضاعفة، ضمن المساحة التي يسمح بها السياق، حتى سقف صارم:
import json, urllib.request
FEED = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
CONTEXT = {m["id"]: m.get("context_length") for m in FEED["models"]}
def ask(model, messages, budget=4_000, hard_cap=32_000, **kw):
"""Retry a cut-off reply with a doubled budget, never past the cap or the context window."""
while True:
r = client.chat.completions.create(model=model, messages=messages,
max_tokens=budget, **kw)
if r.choices[0].finish_reason != "length":
return r
room = CONTEXT[model] - r.usage.prompt_tokens # context holds prompt + answer
nxt = min(budget * 2, hard_cap, room)
if nxt <= budget:
raise RuntimeError(f"still cut off at max_tokens={budget}")
print(f"cut off at {budget}, retrying with {nxt}")
budget = nxt
بديلان عن المضاعفة، بحسب المهمة:
- أعد المحاولة بقيمة
reasoning_effort="low"مع الميزانية نفسها. ففي المهام البسيطة كثيرًا ما يُفرط النموذج في التفكير، والجهد الأقل يحل المشكلة دون سقف أكبر. - قسّم المهمة. إذا ظل الرد يصطدم بسقف مرتفع، فالطلب عادةً يطلب أكثر مما ينبغي دفعة واحدة.
سجّل كل قطع مع نوع المهمة. فارتفاع المعدل يعني أن الأمر أو النموذج أو بيانات الإدخال تغيّرت، وأن الميزانية تحتاج إلى قياس جديد. وإعادات المحاولة استدلالات جديدة تُحتسب من جديد، فأبقِ عدد المحاولات محدودًا، كما في الوكلاء طويلو التشغيل: المهلات وإعادة المحاولة.
كيف يغيّر البث المتدفق الصورة؟
مع stream=True يحدث الاستدلال قبل أول رمز ظاهر، فقد يبدو نموذج الاستدلال متوقفًا في البداية. في واجهة المحادثة، اعرض حالة “يفكّر” حتى يصل المحتوى، واضبط مهلات العميل على زمن التفكير، لا على الإجابة وحدها.
وبعض الخوادم تبث نص الاستدلال نفسه أيضًا، في حقل منفصل. والاسم ليس موحدًا: تستخدم واجهة DeepSeek نفسها reasoning_content، وأعادت vLLM تسمية حقلها من reasoning_content إلى reasoning، محذّرة من أن شيفرة العميل القديمة “could silently read an empty” (الترجمة: قد تقرأ بصمت حقلًا فارغًا). ولا توثّق BroadNet حقلًا لنص الاستدلال، فلا تبنِ ميزات عليه دون فحص الاستجابة الخام لنموذجك. وإذا قرأته، فاقرأه بحذر:
for chunk in stream:
if chunk.choices:
delta = chunk.choices[0].delta
thinking = getattr(delta, "reasoning", None) or getattr(delta, "reasoning_content", None)
# log or display `thinking` only if your provider actually sends it
if delta.content:
print(delta.content, end="")
elif chunk.usage: # last chunk, with include_usage
print("\nreasoning tokens:", getattr(chunk.usage.completion_tokens_details, "reasoning_tokens", None))
يحتاج حقل usage في الجزء الأخير إلى stream_options={"include_usage": True}، وهو ما توثّقه BroadNet. والمزيد عن البث في دليل البث المتدفق وشرح SSE.
ما اسم المعامل الذي يجب أن ترسله؟
| الواجهة | المعامل | يشمل الاستدلال |
|---|---|---|
| OpenAI Chat Completions | max_completion_tokens (max_tokens مُهمَل) |
نعم |
| OpenAI Responses | max_output_tokens |
نعم |
| BroadNet Inference (Chat Completions) | max_tokens، كما هو موثّق |
نعم |
| خوادم vLLM | max_tokens، مع thinking_token_budget اختياريًا |
نعم |
عند نقل الشيفرة بين المزوّدين، أرسل الاسم الذي يوثّقه المزوّد، وتأكّد باستدعاء اختباري واحد أن الحد يسري فعلًا. فالحد الذي يُتجاهل بصمت يبدو سليمًا حتى يصل رد جامح. وتغطي قائمة تحقق الانتقال المعاملات الأخرى التي تتغير.
أين تناسب BroadNet Inference
تُبلغ نماذج الاستدلال المنطقي الثلاثة في BroadNet عن رموز الاستدلال في usage حين يوفّرها النموذج، فتعمل طريقة القياس أعلاه كما هي. ويمنح DeepSeek V4.1 Flash وGLM 5.3 أكبر مساحة، بسياق قدره 1,048,576 رمزًا. أما Qwen3.8 27B فسياقه 262,144. وإذا لم تكن تحتاج إلى الاستدلال في مهمة ما، فإن Gemma 4 VL 26B غير مدرج كنموذج استدلال، ويجنّبك مسألة الميزانية كليًا. وفي خطة DeepSeek V4.1 Flash بسعر ثابت، لا تُحتسب رموز التفكير بسعر لكل رمز، لكن الردود المقطوعة تظل تكلّف وقتًا، فتنطبق طريقة تحديد الميزانية نفسها. ولا توثّق BroadNet حدًا منفصلًا للاستدلال؛ فإن احتجت إليه، فاستخدم مزوّدًا أو خادمًا مستضافًا ذاتيًا يوفّره.
