BroadRouter

البث المتدفق لإكمال المحادثات والتعامل مع انقطاع الاتصال

آخر تحديث

اضبط stream على true في /v1/chat/completions، واقرأ أحداث Server-Sent Events حتى العلامة الحرفية data: [DONE]. أضف stream_options include_usage لتحصل على أعداد الرموز (التوكنات) في آخر جزء. وإذا انقطع الاتصال قبل [DONE]، فاعتبر الإجابة غير مكتملة وسجّل X-Request-ID.

يتيح البث المتدفق لوكيل أو لواجهة محادثة عرض الإجابة أثناء توليدها. يستخدم BroadNet Inference صيغة البث القياسية لإكمال المحادثات، لذا تتولى OpenAI Python SDK وOpenAI Node SDK التحليل نيابةً عنك.

باستخدام curl

curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

يوقف الخيار -N التخزين المؤقت في curl، ويحفظ -D الترويسات، ومنها X-Request-ID.

كيف يبدو البث؟

الاستجابة بث من نوع Server-Sent Events. بحسب معيار WHATWG HTML، يتكوّن كل حدث من سطر data: واحد أو أكثر يليه سطر فارغ، والسطر الذي يبدأ بنقطتين رأسيتين تعليق يمكنك تجاهله. يحمل كل سطر data: جزءًا واحدًا بصيغة JSON، ويصل النص في choices[0].delta.content.

القواعد

  1. اقرأ الأحداث حتى السطر الحرفي data: [DONE]، ثم أغلق القارئ.
  2. مع stream_options: {"include_usage": true} يصل جزء إضافي واحد قبل [DONE] مباشرة. يحمل usage للطلب كله وقائمة choices فارغة، فتحقّق من choices قبل الوصول إلى عناصرها بالفهرس.
  3. حين يُبلغ النموذج عنها، يتضمّن هذا الاستهلاك completion_tokens_details.reasoning_tokens (تُجري نماذج DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B استدلالًا منطقيًا أولًا) وprompt_tokens_details.cached_tokens. وتُحتسب الرموز المخزّنة مؤقتًا بسعر الإدخال المخزّن مؤقتًا الأقل.

باستخدام Python SDK

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk

تقرأ حزمة SDK حتى [DONE] نيابةً عنك. ويعرض دليل OpenAI Node SDK الحلقة نفسها بلغة JavaScript.

حين ينتهي البث مبكرًا

إذا أُغلق الاتصال قبل [DONE]، فالإجابة غير مكتملة. توجيهات BroadNet:

  • سجّل X-Request-ID؛
  • قرّر ما إذا كان تطبيقك يستطيع بأمان إرسال طلب جديد. إعادة المحاولة عملية استدلال جديدة تُحتسب مرة أخرى في الدفع حسب الاستخدام.

وللوكلاء على خطة غير محدودة، لا تكلّف إعادة المحاولة شيئًا إضافيًا، لكنها تظل تشغل الجلسة طوال تنفيذها.

تقول وثائق BroadNet إن التحقق من كل نموذج عند إصداره لا يزال مطلوبًا قبل الاعتماد على البث المتدفق في الإنتاج، فاختبره على النموذج الذي ستطلق به منتجك.

حل المشكلات

  • يُطبع كل شيء في النهاية. يحتاج curl إلى -N. وخلف وكيل (proxy) خاص بك، أوقف التخزين المؤقت للاستجابات من نوع text/event-stream.
  • IndexError أو undefined في آخر جزء. جزء الاستهلاك فيه قائمة choices فارغة. تحقّق من chunk.choices قبل قراءة [0].
  • لا يوجد استهلاك على الإطلاق. لم ترسل stream_options، أو انقطع البث قبل الجزء الأخير.
  • يتوقف البث مع finish_reason بقيمة length ونص قليل. أنفق نموذج استدلال منطقي max_tokens على الاستدلال. راجع لماذا تُرجع نماذج الاستدلال المنطقي إجابات فارغة.
  • 429 أثناء البث المتوازي. كل بث مفتوح يُحتسب طلبًا قيد التنفيذ؛ ويسمح مفتاح الدفع حسب الاستخدام بـ 4 منها. راجع رموز أخطاء BroadNet وإعادة المحاولة.

أسئلة شائعة

كيف أحصل على استهلاك الرموز عند بث إكمال المحادثات؟

أرسل stream_options مع ضبط include_usage على true. يصل جزء إضافي واحد قبل data: [DONE] مباشرة، وفيه usage مملوء ومصفوفة choices فارغة. وإذا انقطع البث قبله، فلن يصل هذا الجزء.

لماذا يطبع curl الإجابة المتدفقة كلها دفعة واحدة؟

يخزّن curl مخرجاته مؤقتًا افتراضيًا. أضف الخيار -N (بلا تخزين مؤقت) لكي يُطبع كل حدث من أحداث Server-Sent Events فور وصوله.

هل يُحتسب البث المُعاد مرتين؟

نعم في الدفع حسب الاستخدام، لأن إعادة المحاولة طلب استدلال جديد. أما في خطة DeepSeek V4.1 Flash غير المحدودة فلا يوجد عدّاد للرموز، لكن إعادة المحاولة تظل تشغل الجلسة طوال تنفيذها.

هل يكلّف البث المتدفق أكثر من الطلب العادي؟

لا. يغيّر البث طريقة تسليم الإجابة، لا طريقة احتسابها. ففي الدفع حسب الاستخدام تدفع أسعار رموز الإدخال والإخراج نفسها التي تدفعها لطلب دون بث.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity