“API ini lambat” boleh bermaksud tiga perkara berbeza, dan setiap satu ada pembaikan yang berbeza. Pengguna chat menunggu perkataan pertama. Ejen menunggu keseluruhan panggilan alat. Kerja batch mementingkan token sejam. Catatan ini mentakrifkan tiga angka itu, menunjukkan cara mengukurnya daripada kod anda sendiri, dan memadankan setiap pembaikan dengan angka yang benar-benar digerakkannya.
Apakah TTFT, token sesaat dan kependaman hujung ke hujung?
Panduan penanda aras NVIDIA memberi takrif yang jelas, dan ia sepadan dengan apa yang boleh anda perhatikan dari klien:
| Metrik | Apa yang diukur | Siapa yang merasainya | Dipengaruhi oleh |
|---|---|---|---|
| Time to first token (TTFT) | Permintaan dihantar → token pertama diterima | Pengguna chat | Rangkaian, baris gilir, panjang prompt (prefill), cache hit |
| Kependaman antara token (ITL) | Purata jarak antara token | Pembaca jawapan yang distrim | Saiz model, perkakasan, beban pelayan |
| Token sesaat setiap pengguna | Token output selepas token pertama ÷ masa penjanaan (dari token pertama hingga terakhir); sama dengan 1 ÷ purata ITL | Pembaca, ejen | Sama seperti ITL |
| Kependaman hujung ke hujung | Permintaan dihantar → token terakhir diterima | Ejen, API, batch | TTFT + masa penjanaan |
Formula yang menghubungkan semuanya:
hujung ke hujung ≈ TTFT + (token output − 1) × ITL ≈ TTFT + token output ÷ token sesaat setiap pengguna
Kelajuan setiap pengguna tidak sama dengan daya pemprosesan pelayan, iaitu jumlah token yang dihasilkan pelayan untuk semua pengguna; penyedia boleh menaikkan satu sementara satu lagi menurun.
Ambil kelajuan biasa yang diterbitkan BroadNet untuk model pelannya, kira-kira 100 token sesaat. Masa penjanaan bertambah dengan panjang jawapan: fail kod 4,000 token mengambil masa kira-kira lapan puluh kali ganda berbanding pengelasan 50 token, sedangkan kedua-duanya menunggu TTFT yang sama. Untuk jawapan pendek, TTFT ialah sebahagian besar masa menunggu; untuk jawapan panjang, kelajuan dan panjang.
Mengapakah model penaakulan memerlukan angka keempat?
Model penaakulan seperti DeepSeek V4.1 Flash berfikir sebelum menjawab, dan proses berfikir itu juga token output. Jika model menggunakan 800 token untuk penaakulan pada kira-kira 100 token sesaat, pengguna menunggu kesemua 800 token itu dijana sebelum perkataan pertama kelihatan, walaupun TTFT pada rangkaian kelihatan pantas. Jadi ukur time to first content token secara berasingan. Di BroadNet Inference, reasoning_effort: "low" memendekkan proses berfikir untuk langkah mudah; panduan penaakulan menerangkan pertukarannya.
Bagaimanakah anda mengukur kependaman dari klien?
Ukur di tempat pengguna anda berada, dengan penstriman dihidupkan. Pemasa di sisi pelayan tidak mengambil kira rangkaian dan mana-mana proksi.
import os, time, statistics
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def timed(model, messages, max_tokens=1500):
t0 = time.perf_counter()
first = first_content = None
usage = None
stream = client.chat.completions.create(
model=model, messages=messages, max_tokens=max_tokens,
stream=True, stream_options={"include_usage": True},
)
for chunk in stream:
now = time.perf_counter()
if chunk.choices:
if first is None:
first = now
if chunk.choices[0].delta.content and first_content is None:
first_content = now
if chunk.usage:
usage = chunk.usage
end = time.perf_counter()
out = usage.completion_tokens if usage else 0
return {
"ttft": first - t0,
"ttfct": (first_content or end) - t0,
"e2e": end - t0,
"tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
"prompt_tokens": usage.prompt_tokens if usage else None,
}
runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
xs = sorted(r[k] for r in runs)
print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
Lima peraturan untuk penanda aras yang adil:
- Tetapkan panjang prompt dan laporkannya. TTFT pada 500 token prompt dan pada 200,000 ialah angka yang berbeza. Pembilang token memberitahu panjang prompt ujian sebelum anda menghantarnya.
- Tetapkan panjang output dengan
max_tokensdan prompt yang mengisinya, supaya token sesaat boleh dibandingkan. - Laporkan p50 dan p95, bukan min. Kependaman ekor ialah apa yang diingati pengguna.
- Sebarkan larian mengikut masa. Beban berubah sepanjang hari.
- Panaskan dahulu. Panggilan pertama menanggung DNS, TLS dan persediaan sambungan; guna semula satu klien.
Apakah yang benar-benar memperbaiki setiap angka?
| Untuk memperbaiki | Lakukan ini | Mengapa |
|---|---|---|
| TTFT | Pendekkan atau cache awalan prompt | Masa prefill bertambah dengan panjang prompt; awalan yang dicache melangkau kerja |
| TTFT | Kekalkan sambungan aktif, gunakan rantau berdekatan | Menghapuskan persediaan dan perjalanan pergi balik |
| Time to first content token | Rendahkan usaha penaakulan, atau gunakan model bukan penaakulan untuk langkah mudah | Kurang proses berfikir tersembunyi sebelum jawapan |
| Token sesaat | Gunakan model lebih kecil atau lebih pantas untuk langkah itu | Kelajuan nyahkod bergantung pada saiz model dan cara ia disediakan |
| Hujung ke hujung | Minta output lebih pendek (skema, had perkataan) | Panjang output menggandakan ITL |
| Hujung ke hujung untuk banyak panggilan | Jalankan panggilan bebas secara selari dalam had keserentakan anda | Masa sebenar berkurang walaupun setiap panggilan sama |
| Kependaman yang dirasai | Strim kepada pengguna | Mereka membaca sementara model menulis |
Panjang output ialah tuas yang paling dipandang remeh. Meminta “JSON dengan empat medan ini” dan bukannya “terangkan jawapan anda” boleh memotong masa penjanaan sebanyak satu tertib magnitud tanpa sebarang kerja infrastruktur. Output berstruktur membantu di sini.
Tuas cache dibincangkan dalam struktur prompt untuk caching. Tuas keselarian cepat bertembung dengan had kadar; lihat mengendalikan ralat 429.
Bagaimanakah panjang prompt mengubah pertukaran ini?
TTFT bertambah dengan prompt kerana model mesti memproses setiap token input sebelum ia boleh menulis. Itulah kos tersembunyi prompt yang sangat panjang dan sebahagian daripada keputusan konteks panjang vs RAG: prompt 1M token menjawab soalan yang tidak dapat dijawab RAG, tetapi ia bermula lebih perlahan. Jika kelajuan interaktif penting, pastikan laluan utama pendek dan hantar konteks besar hanya apabila soalan memerlukannya.
Di manakah BroadNet Inference sesuai
BroadNet menerbitkan kelajuan biasa kira-kira 100 token sesaat untuk model pelannya dan menstrim dengan format SSE standard, jadi kod di atas berfungsi tanpa perubahan. Ia tidak menerbitkan angka TTFT atau SLA kependaman, jadi ukur pada prompt anda sendiri sebelum membuat komitmen; satu jam Meteor $1 cukup untuk penanda aras 50 larian, dan kredit permulaan meliputi satu penanda aras pada Gemma 4 VL 26B. Jika anda memerlukan kependaman di bawah satu saat yang dijamin pada skala besar, uji dengan teliti: kunci bayar ikut guna membenarkan 4 permintaan serentak, yang lebih sesuai untuk aplikasi dan ejen berbanding penyediaan masa nyata bervolum tinggi. Model dan harganya ada di halaman model dan harga.
