“API-nya lambat” bisa berarti tiga hal berbeda, dan masing-masing punya solusi berbeda. Pengguna chat menunggu kata pertama. Agen menunggu seluruh tool call. Job batch peduli pada token per jam. Artikel ini mendefinisikan ketiga angka tersebut, menunjukkan cara mengukurnya dari kode Anda sendiri, dan memetakan setiap perbaikan ke angka yang benar-benar diubahnya.
Apa itu TTFT, token per detik, dan latensi end-to-end?
Panduan benchmarking NVIDIA memberi definisi yang rapi, dan cocok dengan apa yang bisa Anda amati dari klien:
| Metrik | Yang diukur | Siapa yang merasakan | Dipengaruhi oleh |
|---|---|---|---|
| Time to first token (TTFT) | Permintaan dikirim → token pertama diterima | Pengguna chat | Jaringan, antrean, panjang prompt (prefill), cache hit |
| Inter-token latency (ITL) | Rata-rata jeda antar-token | Pembaca jawaban yang di-stream | Ukuran model, hardware, beban server |
| Token per detik per pengguna | Token output setelah token pertama ÷ waktu generasi (dari token pertama hingga terakhir); sama dengan 1 ÷ ITL rata-rata | Pembaca, agen | Sama dengan ITL |
| Latensi end-to-end | Permintaan dikirim → token terakhir diterima | Agen, API, batch | TTFT + waktu generasi |
Rumus yang menghubungkan semuanya:
end-to-end ≈ TTFT + (token output − 1) × ITL ≈ TTFT + token output ÷ token per detik per pengguna
Kecepatan per pengguna tidak sama dengan throughput server, yaitu total token yang dihasilkan server untuk semua pengguna; penyedia bisa menaikkan yang satu sementara yang lain turun.
Ambil kecepatan tipikal yang dipublikasikan BroadNet untuk model paketnya, sekitar 100 token per detik. Waktu generasi tumbuh seiring panjang jawaban: file kode 4.000 token butuh waktu sekitar delapan puluh kali lebih lama untuk dibuat dibanding klasifikasi 50 token, sementara keduanya menunggu TTFT yang sama. Untuk jawaban pendek, sebagian besar waktu tunggu adalah TTFT; untuk jawaban panjang, kecepatan dan panjanglah yang menentukan.
Mengapa model penalaran butuh angka keempat?
Model penalaran seperti DeepSeek V4.1 Flash berpikir sebelum menjawab, dan proses berpikir itu juga berupa token output. Jika model menghabiskan 800 token untuk bernalar pada sekitar 100 token per detik, pengguna menunggu sampai ke-800 token itu selesai dibuat sebelum kata pertama terlihat, meski TTFT di jaringan tampak cepat. Jadi ukur time to first content token secara terpisah. Di BroadNet Inference, reasoning_effort: "low" memperpendek proses berpikir untuk langkah-langkah sederhana; panduan penalaran menjelaskan trade-off-nya.
Bagaimana mengukur latensi dari klien?
Ukur di tempat pengguna Anda berada, dengan streaming aktif. Timer di sisi server melewatkan jaringan dan proxy apa pun.
import os, time, statistics
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def timed(model, messages, max_tokens=1500):
t0 = time.perf_counter()
first = first_content = None
usage = None
stream = client.chat.completions.create(
model=model, messages=messages, max_tokens=max_tokens,
stream=True, stream_options={"include_usage": True},
)
for chunk in stream:
now = time.perf_counter()
if chunk.choices:
if first is None:
first = now
if chunk.choices[0].delta.content and first_content is None:
first_content = now
if chunk.usage:
usage = chunk.usage
end = time.perf_counter()
out = usage.completion_tokens if usage else 0
return {
"ttft": first - t0,
"ttfct": (first_content or end) - t0,
"e2e": end - t0,
"tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
"prompt_tokens": usage.prompt_tokens if usage else None,
}
runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
xs = sorted(r[k] for r in runs)
print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
Lima aturan untuk benchmark yang adil:
- Tetapkan panjang prompt dan laporkan. TTFT pada 500 token prompt dan pada 200.000 token adalah angka yang berbeda. Penghitung token memberi tahu panjang prompt uji sebelum Anda mengirimnya.
- Tetapkan panjang output dengan
max_tokensdan prompt yang mengisinya, agar token per detik bisa dibandingkan. - Laporkan p50 dan p95, bukan rata-rata. Latensi ekor (tail) itulah yang diingat pengguna.
- Sebarkan percobaan dari waktu ke waktu. Beban berubah sepanjang hari.
- Lakukan pemanasan dulu. Panggilan pertama menanggung biaya DNS, TLS, dan pembukaan koneksi; gunakan ulang satu klien.
Apa yang benar-benar memperbaiki tiap angka?
| Untuk memperbaiki | Lakukan ini | Alasannya |
|---|---|---|
| TTFT | Perpendek atau cache prefiks prompt | Waktu prefill bertambah seiring panjang prompt; prefiks yang di-cache melewati pekerjaan itu |
| TTFT | Jaga koneksi tetap hangat, gunakan region terdekat | Menghilangkan biaya setup dan round trip |
| Time to first content token | Turunkan tingkat penalaran, atau gunakan model non-penalaran untuk langkah sederhana | Lebih sedikit proses berpikir tersembunyi sebelum jawaban |
| Token per detik | Gunakan model yang lebih kecil atau lebih cepat untuk langkah itu | Kecepatan decode bergantung pada ukuran model dan cara penyajiannya |
| End-to-end | Minta output yang lebih pendek (skema, batas kata) | Panjang output mengalikan ITL |
| End-to-end untuk banyak panggilan | Jalankan panggilan independen secara paralel dalam batas konkurensi Anda | Waktu total turun meski tiap panggilan sama |
| Latensi yang dirasakan | Stream ke pengguna | Pengguna membaca selagi model menulis |
Panjang output adalah tuas yang paling diremehkan. Meminta “JSON dengan empat field ini” alih-alih “jelaskan jawabanmu” bisa memangkas waktu generasi hingga sepersepuluhnya tanpa pekerjaan infrastruktur apa pun. Output terstruktur membantu di sini.
Tuas cache dibahas di struktur prompt untuk caching. Tuas paralelisme cepat terbentur rate limit; lihat menangani error 429.
Bagaimana panjang prompt mengubah trade-off-nya?
TTFT bertambah seiring panjang prompt karena model harus memproses setiap token input sebelum bisa menulis. Itulah biaya tersembunyi prompt yang sangat panjang, dan bagian dari keputusan konteks panjang vs RAG: prompt 1M token bisa menjawab pertanyaan yang tidak bisa dijawab RAG, tetapi mulainya lebih lambat. Jika kecepatan interaktif penting, jaga jalur utama (hot path) tetap pendek dan kirim konteks besar hanya saat pertanyaannya membutuhkan.
Di mana posisi BroadNet Inference?
BroadNet memublikasikan kecepatan tipikal sekitar 100 token per detik untuk model paketnya dan melakukan streaming dengan format SSE standar, jadi kode di atas berjalan tanpa perubahan. BroadNet tidak memublikasikan angka TTFT atau SLA latensi, jadi ukur dengan prompt Anda sendiri sebelum berkomitmen; satu jam Meteor seharga $1 cukup untuk benchmark 50 percobaan, dan kredit awal mencukupi satu benchmark di Gemma 4 VL 26B. Jika Anda butuh latensi di bawah satu detik yang dijamin dalam skala besar, uji dengan cermat: kunci bayar sesuai pemakaian mengizinkan 4 permintaan berjalan, yang lebih cocok untuk aplikasi dan agen daripada penyajian real-time bervolume tinggi. Model dan harganya ada di halaman model dan harga.
