BroadRouter
Başlayın

Server-sent events (SSE, sunucu gönderimli olaylar)

Güncellendi

Server-sent events (SSE), bir sunucunun text/event-stream içerik türüne sahip, uzun süre açık kalan tek bir HTTP yanıtı üzerinden istemciye metin olayları akışı göndermesini sağlayan bir web standardıdır. Her olay, data: gibi bir veya daha fazla alan satırından oluşur ve boş bir satırla biter.

Diğer adları: SSE, sunucu gönderimli olaylar, olay akışı, server-sent events, text/event-stream, event stream, EventSource

SSE, akışla gelen neredeyse her LLM yanıtının altındaki düz metin çerçevelemesidir. Formatı bilmek, SDK bulunmadığında veya bir akış tuhaf davrandığında işe yarar.

Nasıl çalışır

Formatı WHATWG HTML standardı tanımlar. Yanıtın MIME türü text/event-stream’dir ve her zaman UTF-8’dir. Gövde field: value satırlarından oluşur:

: keep-alive comment, ignored by clients

event: update
id: 42
data: first line
data: second line

data: {"choices":[{"delta":{"content":"Hi"}}]}

data: [DONE]

Önemli ayrıştırma kuralları:

  • Boş satır olayı gönderir. Boş satır gelene kadar istemci tamponlar.
  • Birden çok data: satırı satır sonlarıyla birleştirilerek tek bir mesaj olur.
  • İki nokta üst üsteyle başlayan satır bir yorumdur. Sunucular boştaki bağlantıları açık tutmak için bunları gönderir.
  • İki nokta üst üsteden sonraki tek bir boşluk silinir. Satırlar CRLF, LF veya CR ile bitebilir.
  • event, id ve retry olay türünü, son olay kimliğini ve milisaniye cinsinden yeniden bağlanma gecikmesini belirler.

Ağ okumaları olaylarla örtüşmez. Tek bir okuma yarım bir olay ya da üç olay içerebilir; bu yüzden ayrıştırıcı baytları tamponlamalı ve okumalara göre değil, boş satırlara göre bölmelidir.

Yeniden bağlanma, proxy’ler ve [DONE]

Standart, tarayıcılar için kurtarmayı yerleşik olarak sunar: bağlantı koptuktan sonra EventSource yeniden bağlanır ve bir Last-Event-ID başlığı gönderir; sunucu da HTTP 204 ile yeniden denemeleri durdurabilir. Spesifikasyon ayrıca “legacy proxy servers” (çeviri: eski proxy sunucularının) HTTP bağlantılarını kısa bir zaman aşımından sonra düşürebileceği konusunda uyarır ve “every 15 seconds or so” (çeviri: yaklaşık her 15 saniyede bir) bir yorum satırı gönderilmesini önerir.

LLM API’leri bunun daha azını kullanır. OpenAI’nin Chat Completions akışı yalnızca data: satırları gönderir ve SSE’nin değil, API’nin bir geleneği olan data: [DONE] ile biter. Devam edilecek bir olay kimliği yoktur; bu yüzden kopan bir akış sürdürülemez, yeniden deneme yeni bir istektir. Akışın (streaming) genel resmi ve ilk token süresine sağladığı fayda o sayfada anlatılır.

BroadNet Inference’ta

BroadNet’in belgeleri stream=true ayarlamanızı ve “read Server-Sent Events until the literal data: [DONE] marker” (çeviri: data: [DONE] işaretine harfiyen ulaşana kadar Server-Sent Events okumanızı) söyler. Bağlantı bundan önce biterse yanıtı eksik kabul edin, X-Request-ID başlığını kaydedin ve yeni bir çıkarım isteğinin güvenli olup olmadığına karar verin. stream_options: {"include_usage": true} ile kullanım bilgisi son parçada gelir. Belgelerdeki curl örneği, curl’ün tamponlama yapmaması için -N kullanır. Bir akış ayrıca bitene kadar bir eşzamanlılık yuvası tutar: kullandıkça öde anahtarında 4, saatlik anahtarda bir. Belgeler, üretime geçmeden önce akışı her model için doğrulamanızı ister. Her SDK için kod akış rehberinde, parçaların içeriği ise LLM akışı açıklaması yazısında anlatılır.

Sık sorulan sorular

Tarayıcının EventSource API'sini bir LLM API'siyle kullanabilir miyim?

Genellikle doğrudan kullanamazsınız. Spesifikasyondaki EventSource yapıcısı yalnızca bir URL ve bir withCredentials bayrağı alır; bu yüzden POST gövdesi veya Authorization başlığı gönderemez. fetch kullanıp akışı kendiniz ayrıştırın ya da bir SDK kullanın.

"data: [DONE]" ne anlama gelir?

SSE standardının bir parçası değildir. OpenAI tarzı API'ler, yanıtın tamamlandığını bildirmek için son olay olarak "data: [DONE]" satırını aynen gönderir.

Akışım neden tek seferde geliyor?

Sunucu ile kodunuz arasındaki bir şey yanıtı tamponluyor (buffering): ters proxy, bir framework veya -N olmadan çalışan curl gibi. O rota için tamponlamayı kapatın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor