BroadRouter

Token sesaat (tokens per second)

Dikemas kini

Token sesaat (TPS) ialah kadar model bahasa menjana token output, biasanya diukur bagi satu permintaan selepas token pertamanya tiba. Ia menentukan sepantas mana jawapan distrim sebaik bermula. Apabila dijumlahkan merentas semua permintaan serentak, ia menjadi daya pemprosesan sistem; masa menunggu sebelum token pertama diukur secara berasingan.

Juga dikenali sebagai: token sesaat, kelajuan output, kelajuan penjanaan, TPS, tok/s, tokens per second, output speed, generation speed

Kelajuan ada dua bahagian: berapa lama sebelum sesuatu muncul, dan sepantas mana teks mengalir selepas itu. Token sesaat mengukur bahagian kedua.

Cara ia berfungsi

Dokumentasi penanda aras NVIDIA mentakrifkan metrik yang berkaitan:

  • Masa ke token pertama (TTFT): dari penghantaran permintaan hingga token pertama diterima. Ia meningkat dengan panjang prompt.
  • Kependaman antara token (ITL): purata jarak antara token output.
  • TPS per user: token output satu permintaan dibahagi dengan masa hujung ke hujungnya, jadi dalam takrif NVIDIA ia termasuk TTFT. Banyak papan pemuka sebaliknya memetik kelajuan nyahkod selepas token pertama, seperti halaman ini.
  • TPS sistem: jumlah token output merentas semua permintaan serentak, juga dipanggil daya pemprosesan.

Kedua-duanya bergerak ke arah bertentangan. NVIDIA menyatakan bahawa apabila keserentakan meningkat, TPS sistem naik manakala TPS per user turun. Angka pemasaran penyedia dan kelajuan satu permintaan anda boleh kedua-duanya jujur tetapi tetap berbeza.

Anggaran pantas untuk satu jawapan:

total time ≈ TTFT + output tokens ÷ tokens per second

Maksudnya, jumlah masa lebih kurang sama dengan TTFT ditambah token output dibahagi token sesaat. Ambil strim ilustrasi 50 token sesaat: jawapan 1,000 token mengambil kira-kira 20 saat selepas token pertama. Jika model juga menulis 2,000 token penaakulan, tambah kira-kira 40 saat sebelum jawapan bermula. Masa ke token pertama ditambah di atas itu.

Mengapa ia penting

  • Pengalaman pengguna. Penstriman memaparkan teks semasa ia tiba, jadi TTFT dan TPS menentukan sepantas mana jawapan terasa.
  • Daya pemprosesan ejen. Ejen pengekodan menunggu setiap jawapan sebelum langkah seterusnya. Output yang lebih pantas bermaksud lebih banyak langkah sejam.
  • Had pelan. Pada pelan tanpa meter token, kelajuan menjadi siling sebenar bagi bilangan token yang boleh anda gunakan.

Di BroadNet Inference

Halaman pelan BroadNet menyatakan kelajuan biasa kira-kira 100 token sesaat untuk DeepSeek V4.1 Flash. Sesi pada pelan tanpa had menjalankan satu permintaan pada satu masa, jadi pada kelajuan itu, sesi yang menjana tanpa henti selama 30 hari akan menghasilkan kira-kira 259 juta token output. Ejen sebenar menghabiskan masa membaca, menjalankan alat dan menunggu, jadi angka praktikalnya lebih rendah.

Untuk mendapatkan jumlah daya pemprosesan yang lebih tinggi pada pelan, tambah sesi: satu bagi setiap ejen yang bekerja secara selari. Lihat cara sesi tanpa had berfungsi dan menjalankan ejen pengekodan selari.

Kesilapan biasa

  • Membandingkan penyedia berdasarkan satu permintaan. Ukur TTFT dan TPS merentas banyak permintaan, dengan saiz prompt anda sendiri.
  • Terlupa masa penaakulan semasa menetapkan tamat masa klien.

Soalan lazim

Berapakah nilai token sesaat yang baik?

Bergantung pada kegunaan. Jawapan chat terasa responsif apabila teks muncul lebih pantas daripada kelajuan orang membaca. Ejen dan kerja kelompok lebih mementingkan jumlah masa bagi setiap tugas dan bilangan permintaan yang berjalan secara selari.

Adakah token sesaat termasuk prompt?

Biasanya tidak. Kelajuan penjanaan mengira token output. Pembacaan prompt pula muncul sebagai masa ke token pertama, yang meningkat dengan panjang prompt.

Adakah token penaakulan melambatkan jawapan?

Ya. Ia dijana pada kelajuan yang sama dengan output yang kelihatan, jadi model yang berfikir selama 2,000 token melambatkan jawapan sebanyak masa yang diambil token-token itu.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity