BroadRouter
Mulai

Server-sent events (SSE)

Diperbarui

Server-sent events (SSE) adalah standar web yang memungkinkan server mengirim aliran event teks ke client melalui satu respons HTTP yang tetap terbuka lama, dengan content type text/event-stream. Setiap event terdiri dari satu atau beberapa baris field, seperti data:, dan diakhiri baris kosong.

Disebut juga: SSE, server-sent events, server sent event, text/event-stream, event stream, EventSource

SSE adalah pembingkaian teks polos di balik hampir setiap balasan LLM yang di-stream. Memahami formatnya berguna saat SDK tidak tersedia atau stream berperilaku aneh.

Cara kerjanya

Standar HTML WHATWG mendefinisikan formatnya. Respons memiliki MIME type text/event-stream dan selalu UTF-8. Body-nya berupa baris-baris field: value:

: keep-alive comment, ignored by clients

event: update
id: 42
data: first line
data: second line

data: {"choices":[{"delta":{"content":"Hi"}}]}

data: [DONE]

Aturan parsing yang penting:

  • Baris kosong mengirimkan event. Sampai baris kosong tiba, client mem-buffer.
  • Beberapa baris data: digabung dengan baris baru menjadi satu pesan.
  • Baris yang diawali titik dua adalah komentar. Server mengirimnya agar koneksi yang menganggur tetap terbuka.
  • Satu spasi setelah titik dua dibuang. Baris bisa diakhiri CRLF, LF, atau CR.
  • event, id, dan retry mengatur tipe event, ID event terakhir, dan jeda reconnect dalam milidetik.

Pembacaan jaringan tidak sejajar dengan event. Satu pembacaan bisa berisi setengah event atau tiga event sekaligus, jadi parser harus mem-buffer byte dan memisahkan berdasarkan baris kosong, bukan berdasarkan pembacaan.

Reconnect, proxy, dan [DONE]

Standar ini punya mekanisme pemulihan bawaan untuk browser: setelah koneksi putus, EventSource menyambung ulang dan mengirim header Last-Event-ID, dan server bisa menghentikan percobaan ulang dengan HTTP 204. Spesifikasi juga memperingatkan bahwa “legacy proxy servers” (terjemahan: server proxy lama) bisa memutus koneksi HTTP setelah timeout singkat, dan menyarankan baris komentar “every 15 seconds or so” (terjemahan: kira-kira setiap 15 detik).

API LLM memakai lebih sedikit fitur ini. Stream Chat Completions milik OpenAI hanya mengirim baris data: dan berakhir dengan data: [DONE], sebuah konvensi API tersebut, bukan SSE. Tidak ada ID event untuk melanjutkan, jadi stream yang putus tidak bisa diteruskan; percobaan ulang adalah permintaan baru. Gambaran umum streaming dan manfaatnya bagi time to first token dibahas di halaman itu.

Di BroadNet Inference

Dokumentasi BroadNet meminta Anda mengatur stream=true dan “read Server-Sent Events until the literal data: [DONE] marker” (terjemahan: membaca Server-Sent Events sampai penanda literal data: [DONE]). Jika koneksi berakhir sebelum itu, anggap respons tidak lengkap, catat header X-Request-ID, lalu putuskan apakah permintaan inferensi baru aman dikirim. Dengan stream_options: {"include_usage": true}, usage tiba di chunk terakhir. Contoh curl di dokumentasi memakai -N agar curl tidak mem-buffer. Sebuah stream juga menempati satu slot konkurensi sampai selesai: 4 pada kunci bayar sesuai pemakaian, satu pada kunci per jam. Dokumentasi meminta Anda memverifikasi streaming per model sebelum produksi. Kode untuk setiap SDK ada di panduan streaming, dan isi chunk dijelaskan di penjelasan streaming LLM.

Pertanyaan umum

Bisakah saya memakai EventSource API browser dengan API LLM?

Biasanya tidak secara langsung. Konstruktor EventSource di spesifikasi hanya menerima URL dan flag withCredentials, jadi tidak bisa mengirim body POST atau header Authorization. Gunakan fetch dan parse stream-nya sendiri, atau pakai SDK.

Apa arti "data: [DONE]"?

Itu bukan bagian dari standar SSE. API bergaya OpenAI mengirim baris literal "data: [DONE]" sebagai event terakhir untuk menandakan balasan sudah lengkap.

Kenapa stream saya datang sekaligus?

Ada sesuatu di antara server dan kode Anda yang mem-buffer respons, misalnya reverse proxy, framework, atau curl tanpa -N. Matikan buffering untuk rute tersebut.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity