Rate limit menghitung permintaan dalam rentang waktu. Konkurensi menghitung permintaan pada satu saat. Permintaan LLM bisa memakan waktu berdetik-detik, jadi batas kedua inilah yang sering kena duluan.
Cara kerjanya
Hukum Little menghubungkan tiga angka:
requests in flight = request rate × average time per request
Artinya: permintaan yang sedang berjalan = laju permintaan × rata-rata waktu per permintaan. Ambil contoh hipotetis sebuah kunci yang mengizinkan 5 permintaan berjalan bersamaan dan 60 permintaan per menit, dengan setiap permintaan memakan 20 detik. Batas konkurensi hanya mengizinkan paling banyak 5 ÷ 20 = 0,25 permintaan per detik, atau 15 per menit. Anda tidak akan pernah mencapai 60 per menit, karena konkurensilah batas yang mengikat. Dengan permintaan 2 detik, batas yang sama mengizinkan 150 per menit, dan rate limit yang menjadi pengikat. Kalkulator rate limit menjalankan hitungan ini dengan angka Anda sendiri.
Output panjang, token penalaran, dan prompt panjang semuanya membuat permintaan lebih lama, sehingga menghabiskan konkurensi lebih cepat. Balasan yang di-stream menahan slotnya sampai selesai.
Kenapa ini penting
Penyedia membatasi konkurensi karena memori dan komputasi GPU dipakai bersama. Benchmark NVIDIA menunjukkan bahwa ketika konkurensi di sebuah server naik, total output meningkat sementara token per detik setiap permintaan turun. Batas per kunci mencegah satu client memperlambat semua orang.
Untuk aplikasi Anda, konkurensi menentukan ukuran worker pool dan berapa agen yang bisa berjalan berdampingan. Ukur pool Anda sesuai batas, jangan melebihinya, atau worker tambahan hanya akan mengumpulkan error 429.
Di BroadNet Inference
| Akses | Konkurensi |
|---|---|
| Kunci bayar sesuai pemakaian | 4 permintaan berjalan bersamaan, plus 30 permintaan per menit |
| Kunci per jam | Satu stream |
| Paket unlimited | Satu permintaan dalam satu waktu per sesi |
Paket-paketnya menjual konkurensi secara langsung. Sebuah sesi tidak punya meteran token dan menjalankan satu permintaan dalam satu waktu, seperti cara kerja satu agen. Permintaan dalam sesi yang sama mengantre satu di belakang yang lain. Untuk menjalankan agen secara paralel, beli satu sesi per agen: satu orkestrator plus tiga sub-agen butuh empat sesi. Satu kunci bisa menampung beberapa sesi.
Baca cara kerja sesi unlimited dan cara menjalankan agen coding paralel dengan harga tetap. Agen menghabiskan banyak waktunya untuk menjalankan tool, jadi ukur tumpang tindih yang sebenarnya sebelum membeli sesi tambahan.
Kesalahan umum
- Menjalankan satu worker per tugas tanpa pool. Batch berisi 100 tugas menjadi 100 permintaan sekaligus.
- Mengatur timeout client lebih pendek daripada balasan penalaran yang panjang. Client menyerah sementara slotnya masih sibuk.