BroadRouter

Kependaman LLM: TTFT vs token sesaat vs masa hujung ke hujung

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan · Dikemas kini

Time to first token (TTFT) ialah masa menunggu sebelum token output pertama. Token sesaat ialah kelajuan jawapan distrim selepas itu. Kependaman hujung ke hujung ialah jumlahnya: TTFT ditambah masa penjanaan, iaitu lebih kurang token output dibahagi dengan kelajuan setiap pengguna. Panjang prompt dan baris gilir mempengaruhi TTFT, saiz model dan beban mempengaruhi kelajuan, dan panjang jawapan mempengaruhi jumlah. Ukur ketiga-tiganya pada p50 dan p95.

“API ini lambat” boleh bermaksud tiga perkara berbeza, dan setiap satu ada pembaikan yang berbeza. Pengguna chat menunggu perkataan pertama. Ejen menunggu keseluruhan panggilan alat. Kerja batch mementingkan token sejam. Catatan ini mentakrifkan tiga angka itu, menunjukkan cara mengukurnya daripada kod anda sendiri, dan memadankan setiap pembaikan dengan angka yang benar-benar digerakkannya.

Apakah TTFT, token sesaat dan kependaman hujung ke hujung?

Panduan penanda aras NVIDIA memberi takrif yang jelas, dan ia sepadan dengan apa yang boleh anda perhatikan dari klien:

Metrik Apa yang diukur Siapa yang merasainya Dipengaruhi oleh
Time to first token (TTFT) Permintaan dihantar → token pertama diterima Pengguna chat Rangkaian, baris gilir, panjang prompt (prefill), cache hit
Kependaman antara token (ITL) Purata jarak antara token Pembaca jawapan yang distrim Saiz model, perkakasan, beban pelayan
Token sesaat setiap pengguna Token output selepas token pertama ÷ masa penjanaan (dari token pertama hingga terakhir); sama dengan 1 ÷ purata ITL Pembaca, ejen Sama seperti ITL
Kependaman hujung ke hujung Permintaan dihantar → token terakhir diterima Ejen, API, batch TTFT + masa penjanaan

Formula yang menghubungkan semuanya:

hujung ke hujung ≈ TTFT + (token output − 1) × ITL ≈ TTFT + token output ÷ token sesaat setiap pengguna

Kelajuan setiap pengguna tidak sama dengan daya pemprosesan pelayan, iaitu jumlah token yang dihasilkan pelayan untuk semua pengguna; penyedia boleh menaikkan satu sementara satu lagi menurun.

Ambil kelajuan biasa yang diterbitkan BroadNet untuk model pelannya, kira-kira 100 token sesaat. Masa penjanaan bertambah dengan panjang jawapan: fail kod 4,000 token mengambil masa kira-kira lapan puluh kali ganda berbanding pengelasan 50 token, sedangkan kedua-duanya menunggu TTFT yang sama. Untuk jawapan pendek, TTFT ialah sebahagian besar masa menunggu; untuk jawapan panjang, kelajuan dan panjang.

Mengapakah model penaakulan memerlukan angka keempat?

Model penaakulan seperti DeepSeek V4.1 Flash berfikir sebelum menjawab, dan proses berfikir itu juga token output. Jika model menggunakan 800 token untuk penaakulan pada kira-kira 100 token sesaat, pengguna menunggu kesemua 800 token itu dijana sebelum perkataan pertama kelihatan, walaupun TTFT pada rangkaian kelihatan pantas. Jadi ukur time to first content token secara berasingan. Di BroadNet Inference, reasoning_effort: "low" memendekkan proses berfikir untuk langkah mudah; panduan penaakulan menerangkan pertukarannya.

Bagaimanakah anda mengukur kependaman dari klien?

Ukur di tempat pengguna anda berada, dengan penstriman dihidupkan. Pemasa di sisi pelayan tidak mengambil kira rangkaian dan mana-mana proksi.

import os, time, statistics
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def timed(model, messages, max_tokens=1500):
    t0 = time.perf_counter()
    first = first_content = None
    usage = None
    stream = client.chat.completions.create(
        model=model, messages=messages, max_tokens=max_tokens,
        stream=True, stream_options={"include_usage": True},
    )
    for chunk in stream:
        now = time.perf_counter()
        if chunk.choices:
            if first is None:
                first = now
            if chunk.choices[0].delta.content and first_content is None:
                first_content = now
        if chunk.usage:
            usage = chunk.usage
    end = time.perf_counter()
    out = usage.completion_tokens if usage else 0
    return {
        "ttft": first - t0,
        "ttfct": (first_content or end) - t0,
        "e2e": end - t0,
        "tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
        "prompt_tokens": usage.prompt_tokens if usage else None,
    }

runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
    xs = sorted(r[k] for r in runs)
    print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))

Lima peraturan untuk penanda aras yang adil:

  1. Tetapkan panjang prompt dan laporkannya. TTFT pada 500 token prompt dan pada 200,000 ialah angka yang berbeza. Pembilang token memberitahu panjang prompt ujian sebelum anda menghantarnya.
  2. Tetapkan panjang output dengan max_tokens dan prompt yang mengisinya, supaya token sesaat boleh dibandingkan.
  3. Laporkan p50 dan p95, bukan min. Kependaman ekor ialah apa yang diingati pengguna.
  4. Sebarkan larian mengikut masa. Beban berubah sepanjang hari.
  5. Panaskan dahulu. Panggilan pertama menanggung DNS, TLS dan persediaan sambungan; guna semula satu klien.

Apakah yang benar-benar memperbaiki setiap angka?

Untuk memperbaiki Lakukan ini Mengapa
TTFT Pendekkan atau cache awalan prompt Masa prefill bertambah dengan panjang prompt; awalan yang dicache melangkau kerja
TTFT Kekalkan sambungan aktif, gunakan rantau berdekatan Menghapuskan persediaan dan perjalanan pergi balik
Time to first content token Rendahkan usaha penaakulan, atau gunakan model bukan penaakulan untuk langkah mudah Kurang proses berfikir tersembunyi sebelum jawapan
Token sesaat Gunakan model lebih kecil atau lebih pantas untuk langkah itu Kelajuan nyahkod bergantung pada saiz model dan cara ia disediakan
Hujung ke hujung Minta output lebih pendek (skema, had perkataan) Panjang output menggandakan ITL
Hujung ke hujung untuk banyak panggilan Jalankan panggilan bebas secara selari dalam had keserentakan anda Masa sebenar berkurang walaupun setiap panggilan sama
Kependaman yang dirasai Strim kepada pengguna Mereka membaca sementara model menulis

Panjang output ialah tuas yang paling dipandang remeh. Meminta “JSON dengan empat medan ini” dan bukannya “terangkan jawapan anda” boleh memotong masa penjanaan sebanyak satu tertib magnitud tanpa sebarang kerja infrastruktur. Output berstruktur membantu di sini.

Tuas cache dibincangkan dalam struktur prompt untuk caching. Tuas keselarian cepat bertembung dengan had kadar; lihat mengendalikan ralat 429.

Bagaimanakah panjang prompt mengubah pertukaran ini?

TTFT bertambah dengan prompt kerana model mesti memproses setiap token input sebelum ia boleh menulis. Itulah kos tersembunyi prompt yang sangat panjang dan sebahagian daripada keputusan konteks panjang vs RAG: prompt 1M token menjawab soalan yang tidak dapat dijawab RAG, tetapi ia bermula lebih perlahan. Jika kelajuan interaktif penting, pastikan laluan utama pendek dan hantar konteks besar hanya apabila soalan memerlukannya.

Di manakah BroadNet Inference sesuai

BroadNet menerbitkan kelajuan biasa kira-kira 100 token sesaat untuk model pelannya dan menstrim dengan format SSE standard, jadi kod di atas berfungsi tanpa perubahan. Ia tidak menerbitkan angka TTFT atau SLA kependaman, jadi ukur pada prompt anda sendiri sebelum membuat komitmen; satu jam Meteor $1 cukup untuk penanda aras 50 larian, dan kredit permulaan meliputi satu penanda aras pada Gemma 4 VL 26B. Jika anda memerlukan kependaman di bawah satu saat yang dijamin pada skala besar, uji dengan teliti: kunci bayar ikut guna membenarkan 4 permintaan serentak, yang lebih sesuai untuk aplikasi dan ejen berbanding penyediaan masa nyata bervolum tinggi. Model dan harganya ada di halaman model dan harga.

Soalan lazim

Berapakah time to first token yang baik untuk API LLM?

Untuk chat, kurang daripada kira-kira satu saat pada prompt pendek terasa responsif. Prompt panjang dan model penaakulan memang mengambil masa lebih lama. Bandingkan TTFT hanya pada panjang prompt dan model yang sama.

Adakah token sesaat sama dengan daya pemprosesan?

Tidak sepenuhnya. Token sesaat setiap pengguna ialah kelajuan satu jawapan distrim. Daya pemprosesan ialah jumlah token yang dihasilkan pelayan untuk semua pengguna. Penyedia boleh menaikkan jumlah daya pemprosesan sementara kelajuan setiap pengguna menurun.

Mengapakah TTFT sangat tinggi pada model penaakulan?

Model menjana token penaakulan tersembunyi sebelum jawapan yang kelihatan. Token pertama mungkin tiba dengan cepat, tetapi token kandungan pertama menunggu sehingga proses berfikir selesai. Rendahkan reasoning_effort untuk tugasan mudah.

Adakah penstriman mengurangkan kependaman?

Ia tidak memendekkan masa hujung ke hujung. Ia membolehkan pengguna membaca jawapan semasa ia masih ditulis, jadi kependaman yang dirasai turun kepada lebih kurang TTFT.

Berapa banyak permintaan yang saya perlukan untuk penanda aras kependaman yang boleh dipercayai?

Cukup untuk melihat ekornya. Lima puluh hingga seratus permintaan bagi setiap saiz prompt memberi p95 yang boleh digunakan. Sebarkan sepanjang hari, kerana beban berubah.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity