BroadRouter
Mulai

Konkurensi (concurrency)

Diperbarui

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

Disebut juga: konkurensi, permintaan bersamaan, permintaan paralel, batas konkurensi, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

Rate limit menghitung permintaan dalam rentang waktu. Konkurensi menghitung permintaan pada satu saat. Permintaan LLM bisa memakan waktu berdetik-detik, jadi batas kedua inilah yang sering kena duluan.

Cara kerjanya

Hukum Little menghubungkan tiga angka:

requests in flight = request rate × average time per request

Artinya: permintaan yang sedang berjalan = laju permintaan × rata-rata waktu per permintaan. Ambil contoh hipotetis sebuah kunci yang mengizinkan 5 permintaan berjalan bersamaan dan 60 permintaan per menit, dengan setiap permintaan memakan 20 detik. Batas konkurensi hanya mengizinkan paling banyak 5 ÷ 20 = 0,25 permintaan per detik, atau 15 per menit. Anda tidak akan pernah mencapai 60 per menit, karena konkurensilah batas yang mengikat. Dengan permintaan 2 detik, batas yang sama mengizinkan 150 per menit, dan rate limit yang menjadi pengikat. Kalkulator rate limit menjalankan hitungan ini dengan angka Anda sendiri.

Output panjang, token penalaran, dan prompt panjang semuanya membuat permintaan lebih lama, sehingga menghabiskan konkurensi lebih cepat. Balasan yang di-stream menahan slotnya sampai selesai.

Kenapa ini penting

Penyedia membatasi konkurensi karena memori dan komputasi GPU dipakai bersama. Benchmark NVIDIA menunjukkan bahwa ketika konkurensi di sebuah server naik, total output meningkat sementara token per detik setiap permintaan turun. Batas per kunci mencegah satu client memperlambat semua orang.

Untuk aplikasi Anda, konkurensi menentukan ukuran worker pool dan berapa agen yang bisa berjalan berdampingan. Ukur pool Anda sesuai batas, jangan melebihinya, atau worker tambahan hanya akan mengumpulkan error 429.

Di BroadNet Inference

Akses Konkurensi
Kunci bayar sesuai pemakaian 4 permintaan berjalan bersamaan, plus 30 permintaan per menit
Kunci per jam Satu stream
Paket unlimited Satu permintaan dalam satu waktu per sesi

Paket-paketnya menjual konkurensi secara langsung. Sebuah sesi tidak punya meteran token dan menjalankan satu permintaan dalam satu waktu, seperti cara kerja satu agen. Permintaan dalam sesi yang sama mengantre satu di belakang yang lain. Untuk menjalankan agen secara paralel, beli satu sesi per agen: satu orkestrator plus tiga sub-agen butuh empat sesi. Satu kunci bisa menampung beberapa sesi.

Baca cara kerja sesi unlimited dan cara menjalankan agen coding paralel dengan harga tetap. Agen menghabiskan banyak waktunya untuk menjalankan tool, jadi ukur tumpang tindih yang sebenarnya sebelum membeli sesi tambahan.

Kesalahan umum

  • Menjalankan satu worker per tugas tanpa pool. Batch berisi 100 tugas menjadi 100 permintaan sekaligus.
  • Mengatur timeout client lebih pendek daripada balasan penalaran yang panjang. Client menyerah sementara slotnya masih sibuk.

Pertanyaan umum

Apa yang terjadi jika saya melebihi batas konkurensi?

Tergantung penyedianya, permintaan tambahan itu ditolak, sering kali dengan 429, atau menunggu di antrean sampai ada slot yang kosong.

Apakah streaming memakai slot konkurensi?

Ya. Respons yang di-stream menahan slotnya sampai chunk terakhir tiba, jadi output panjang membuat slot sibuk lebih lama.

Berapa permintaan bersamaan yang dibutuhkan agen coding AI?

Satu agen biasanya butuh satu, karena ia menunggu setiap balasan sebelum langkah berikutnya. Orkestrator dengan tiga sub-agen yang berjalan bersamaan butuh hingga empat. Butuh empat jika orkestrator mengirim permintaan selagi sub-agen berjalan, dan tiga jika ia menunggu mereka.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity