SSE, akışla gelen neredeyse her LLM yanıtının altındaki düz metin çerçevelemesidir. Formatı bilmek, SDK bulunmadığında veya bir akış tuhaf davrandığında işe yarar.
Nasıl çalışır
Formatı WHATWG HTML standardı tanımlar. Yanıtın MIME türü text/event-stream’dir ve her zaman UTF-8’dir. Gövde field: value satırlarından oluşur:
: keep-alive comment, ignored by clients
event: update
id: 42
data: first line
data: second line
data: {"choices":[{"delta":{"content":"Hi"}}]}
data: [DONE]
Önemli ayrıştırma kuralları:
- Boş satır olayı gönderir. Boş satır gelene kadar istemci tamponlar.
- Birden çok
data:satırı satır sonlarıyla birleştirilerek tek bir mesaj olur. - İki nokta üst üsteyle başlayan satır bir yorumdur. Sunucular boştaki bağlantıları açık tutmak için bunları gönderir.
- İki nokta üst üsteden sonraki tek bir boşluk silinir. Satırlar CRLF, LF veya CR ile bitebilir.
event,idveretryolay türünü, son olay kimliğini ve milisaniye cinsinden yeniden bağlanma gecikmesini belirler.
Ağ okumaları olaylarla örtüşmez. Tek bir okuma yarım bir olay ya da üç olay içerebilir; bu yüzden ayrıştırıcı baytları tamponlamalı ve okumalara göre değil, boş satırlara göre bölmelidir.
Yeniden bağlanma, proxy’ler ve [DONE]
Standart, tarayıcılar için kurtarmayı yerleşik olarak sunar: bağlantı koptuktan sonra EventSource yeniden bağlanır ve bir Last-Event-ID başlığı gönderir; sunucu da HTTP 204 ile yeniden denemeleri durdurabilir. Spesifikasyon ayrıca “legacy proxy servers” (çeviri: eski proxy sunucularının) HTTP bağlantılarını kısa bir zaman aşımından sonra düşürebileceği konusunda uyarır ve “every 15 seconds or so” (çeviri: yaklaşık her 15 saniyede bir) bir yorum satırı gönderilmesini önerir.
LLM API’leri bunun daha azını kullanır. OpenAI’nin Chat Completions akışı yalnızca data: satırları gönderir ve SSE’nin değil, API’nin bir geleneği olan data: [DONE] ile biter. Devam edilecek bir olay kimliği yoktur; bu yüzden kopan bir akış sürdürülemez, yeniden deneme yeni bir istektir. Akışın (streaming) genel resmi ve ilk token süresine sağladığı fayda o sayfada anlatılır.
BroadNet Inference’ta
BroadNet’in belgeleri stream=true ayarlamanızı ve “read Server-Sent Events until the literal data: [DONE] marker” (çeviri: data: [DONE] işaretine harfiyen ulaşana kadar Server-Sent Events okumanızı) söyler. Bağlantı bundan önce biterse yanıtı eksik kabul edin, X-Request-ID başlığını kaydedin ve yeni bir çıkarım isteğinin güvenli olup olmadığına karar verin. stream_options: {"include_usage": true} ile kullanım bilgisi son parçada gelir. Belgelerdeki curl örneği, curl’ün tamponlama yapmaması için -N kullanır. Bir akış ayrıca bitene kadar bir eşzamanlılık yuvası tutar: kullandıkça öde anahtarında 4, saatlik anahtarda bir. Belgeler, üretime geçmeden önce akışı her model için doğrulamanızı ister. Her SDK için kod akış rehberinde, parçaların içeriği ise LLM akışı açıklaması yazısında anlatılır.