BroadRouter

Chat completions akışı ve kopan bağlantıları ele alma

Güncellendi

/v1/chat/completions isteğinde stream değerini true yapın ve birebir data: [DONE] işaretine kadar Server-Sent Events okuyun. Token sayılarını son parçada almak için stream_options içinde include_usage ekleyin. Bağlantı [DONE] gelmeden kapanırsa yanıtı eksik kabul edin ve X-Request-ID değerini kaydedin.

Akış (streaming), bir ajanın veya sohbet arayüzünün yanıtı üretildiği anda göstermesini sağlar. BroadNet Inference standart chat completions akış yapısını kullanır; bu yüzden ayrıştırmayı OpenAI Python SDK ve OpenAI Node SDK sizin yerinize yapar.

curl ile

curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

-N curl’ün arabelleğe almasını kapatır, -D ise X-Request-ID dahil başlıkları kaydeder.

Akış neye benzer?

Yanıt bir Server-Sent Events akışıdır. WHATWG HTML standardına göre her olay, bir veya daha fazla data: satırı ve ardından gelen boş bir satırdan oluşur; iki nokta üst üste ile başlayan satır ise yok sayabileceğiniz bir yorumdur. Her data: satırı bir JSON parçası taşır ve metin choices[0].delta.content alanında gelir.

Kurallar

  1. Birebir data: [DONE] satırına kadar olayları okuyun, ardından okuyucuyu kapatın.
  2. stream_options: {"include_usage": true} ile [DONE] satırından hemen önce fazladan bir parça gelir. Bu parça isteğin tamamı için usage bilgisini ve boş bir choices listesini taşır; bu yüzden indekslemeden önce choices alanını kontrol edin.
  3. Model raporladığında bu kullanım bilgisi completion_tokens_details.reasoning_tokens (DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B önce akıl yürütür) ve prompt_tokens_details.cached_tokens alanlarını içerir. Önbellekli token’lar daha düşük önbellekli girdi fiyatıyla faturalandırılır.

Python SDK ile

Koddaki son satırda usage değerinin None kalması, akışın kullanım parçasından önce bittiği anlamına gelir.

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk

SDK sizin için [DONE] satırına kadar okur. Aynı döngünün JavaScript hâli OpenAI Node SDK rehberinde.

Akış erken biterse

Bağlantı [DONE] gelmeden kapanırsa yanıt eksiktir. BroadNet’in önerisi:

  • X-Request-ID değerini kaydedin;
  • uygulamanızın güvenle yeni bir istek yapıp yapamayacağına karar verin. Yeniden deneme yeni bir çıkarımdır ve kullandıkça öde modelinde yeniden faturalandırılır.

Sınırsız plandaki ajanlar için yeniden denemeler ek ücrete yol açmaz, ancak çalıştıkları süre boyunca oturumu meşgul eder.

BroadNet’in belgeleri, üretimde akışa güvenmeden önce her model için sürüm doğrulamasının hâlâ gerekli olduğunu söyler; bu yüzden akışı, ürününüzde kullanacağınız model üzerinde test edin.

Sorun giderme

  • Her şey en sonda yazdırılıyor. curl için -N gerekir. Kendi proxy’nizin arkasındaysanız text/event-stream için yanıt arabelleğini kapatın.
  • Son parçada IndexError veya undefined. Kullanım parçasındaki choices listesi boştur. [0] okumadan önce chunk.choices alanını kontrol edin.
  • Hiç kullanım bilgisi yok. stream_options göndermediniz ya da akış son parçadan önce koptu.
  • Akış az metinle ve finish_reason length ile duruyor. Bir akıl yürütme modeli max_tokens bütçesini akıl yürütmeye harcadı. Bkz. akıl yürütme modelleri neden boş yanıt döndürür.
  • Paralel akışlarda 429. Açık her akış, işlemdeki bir istek sayılır; kullandıkça öde anahtarı 4 isteğe izin verir. Bkz. BroadNet hata kodları ve yeniden denemeler.

Sık sorulan sorular

Chat completions akışında token kullanımını nasıl alırım?

stream_options içinde include_usage değerini true olarak gönderin. data: [DONE] satırından hemen önce, usage alanı dolu ve choices dizisi boş olan fazladan bir parça gelir. Akış bundan önce koparsa bu parça hiç gelmez.

curl neden akışla gelen yanıtın tamamını tek seferde yazdırıyor?

curl çıktısını varsayılan olarak arabelleğe alır. Her Server-Sent Event geldiği anda yazdırılsın diye -N (arabelleksiz) bayrağını ekleyin.

Yeniden denenen bir akış iki kez faturalandırılır mı?

Kullandıkça öde modelinde evet. Yeniden deneme yeni bir çıkarım isteğidir. Sınırsız DeepSeek V4.1 Flash planında token sayacı yoktur, ancak yeniden deneme çalıştığı süre boyunca oturumu meşgul eder.

Akış normal bir istekten daha mı pahalı?

Hayır. Akış, yanıtın nasıl teslim edildiğini değiştirir, nasıl faturalandırıldığını değil. Kullandıkça öde modelinde akışsız bir istekle aynı token başına girdi ve çıktı fiyatlarını ödersiniz.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor