BroadRouter

Rate limit API LLM per penyedia: perbandingan RPM, TPM, dan konkurensi

Oleh tim BroadNet Inference · 8 menit baca · Dipublikasikan · Diperbarui

Rate limit API LLM berbeda jenisnya, bukan hanya besarnya. OpenAI, Anthropic, dan Gemini membatasi permintaan dan token per menit berdasarkan tier pemakaian. DeepSeek dan DeepInfra membatasi permintaan bersamaan. Free tier Groq dan Cerebras menambahkan batas harian. Di tier berbayar pertama, OpenAI dan Anthropic mengizinkan ribuan permintaan per menit; kunci BroadNet bayar sesuai pemakaian mengizinkan 30.

Cari “rate limit API LLM” dan Anda akan menemukan tabel blog yang saling bertentangan, sering kali karena menyalin angka lama. Halaman ini membaca setiap angka dari dokumentasi penyedianya sendiri pada 15 November 2026, menyebutkan tier dan model yang berlaku, dan mengosongkan sel jika penyedia tidak memublikasikan angkanya. Untuk data yang sama dalam bentuk dataset yang bisa diunduh, lengkap dengan kredit gratis dan ketentuan penggunaan data, lihat free tier dan rate limit API LLM. BroadRouter adalah situs milik BroadNet sendiri, dan batas BroadNet juga ada di tabel.

Apa arti RPM, TPM, RPD, dan konkurensi?

Sebuah rate limit (batas laju) membatasi berapa banyak yang bisa Anda kirim dalam satu jendela waktu. Penyedia menghitung hal yang berbeda:

Batas Yang dihitung Paling terasa saat
RPM, permintaan per menit Permintaan yang dimulai dalam satu menit Anda mengirim banyak panggilan pendek (klasifikasi, loop ala embeddings)
RPS, permintaan per detik Sama, dalam satu detik Anda mengirim lonjakan (burst), meski rata-rata per menitnya rendah
TPM, token per menit Token yang diproses dalam satu menit, kadang input (ITPM) dan output (OTPM) terpisah Anda mengirim prompt panjang atau dokumen panjang
RPD / TPD, per hari Permintaan atau token dalam sehari Anda menjalankan job batch di free tier
Konkurensi Permintaan yang sedang berjalan pada saat yang sama Permintaan lambat: penalaran, output panjang, agen

Batas mana yang mengikat bergantung pada bentuk permintaan Anda. Dengan batas konkurensi, throughput bergantung pada durasi permintaan: dokumentasi DeepInfra sendiri memberi contoh bahwa 200 permintaan bersamaan dengan rata-rata 1 detik setara kira-kira 12.000 RPM. Permintaan penalaran 30 detik pada konkurensi yang sama hanya menghasilkan sebagian kecil dari itu.

Sebagian besar penyedia juga menerapkan batas dalam jendela waktu yang lebih pendek daripada yang mereka publikasikan. Anthropic menyebut batas 60 RPM “might be enforced as 1 request per second” (Terjemahan BroadRouter: “bisa diterapkan sebagai 1 permintaan per detik”), dan xAI menurunkan batas per detiknya dari anggaran per menit (“RPM / 48, with a minimum of 2”; Terjemahan BroadRouter: “RPM / 48, minimal 2”).

Bagaimana tier pemakaian bekerja?

Penyedia model tertutup yang besar menaikkan batas Anda seiring bertambahnya pengeluaran:

Penyedia Tier (dicek 2026-11-15) Cara naik tier
OpenAI Free, Build, Launch, Grow Free: pengguna harus berada di wilayah yang diizinkan; batas pemakaian bulanan USD 100 (batas belanja, bukan kredit). Lalu total pembelian kredit USD 5, USD 100, dan USD 500, dengan batas pemakaian bulanan USD 500, USD 5.000, dan USD 200.000
Anthropic Evaluation, Start, Build, Scale, Custom Otomatis, berdasarkan riwayat pemakaian dan status akun. Batas pengeluaran bulanan: Start USD 500, Build USD 1.000, Scale USD 200.000
Google Gemini API Free, Tier 1, Tier 2, Tier 3 Tier 1 butuh akun penagihan yang ditautkan; Tier 2 butuh pembayaran USD 100 plus 3 hari; Tier 3 USD 1.000 plus 30 hari. Google menyebut rate limit yang ditetapkan “not guaranteed” (Terjemahan BroadRouter: “tidak dijamin”) dan memberi “no guarantees” (Terjemahan BroadRouter: “tanpa jaminan”) untuk permintaan kenaikan
Fireworks AI Tier 1 sampai Tier 4 Metode pembayaran untuk Tier 1, lalu pengeluaran atau kredit USD 50, USD 500, dan USD 5.000. Tier menaikkan TPM, bukan RPM
xAI Tier 0 sampai Tier 4, Enterprise Akumulasi pengeluaran sejak 1 Januari 2026: USD 0, 50, 250, 1.000, dan 5.000

Ada dua detail yang penting dalam praktik. Batas pengeluaran Anthropic mengembalikan HTTP 429 tanpa header retry-after saat Anda mencapainya, sehingga retry otomatis terus gagal sampai bulan berganti atau Anda naik tier. Selain itu, batas input Anthropic hanya menghitung input yang tidak di-cache: pembacaan cache tidak dihitung, jadi cache rate yang tinggi menaikkan throughput riil Anda.

Rate limit API LLM per penyedia: tier awal

Angka untuk free tier atau tier berbayar pertama tiap penyedia, dari halaman rate limit-nya sendiri. Tanda pisah berarti halaman tersebut tidak memublikasikan angka untuk batas itu; bukan berarti tanpa batas.

Penyedia Tier dan model RPM TPM Per hari Konkurensi
OpenAI Build; Astra, Sol, Terra 5.000 1.000.000 – –
OpenAI Build; Luna 5.000 2.000.000 – –
Anthropic Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 4.000 2.000.000 input (tanpa cache), 400.000 output – –
Google Gemini API Free; Gemini Decision 1 (satu-satunya model dengan angka gratis di halaman) 200 50.000 10.000 permintaan –
Google Gemini API Tier 1; Gemini Decision 1 1.500 1.000.000 50.000 permintaan –
Groq Tabel paket gratis; openai/gpt-oss-120b, qwen/qwen3.8-27b 30 8.000 1.000 permintaan, 200.000 token –
Groq Tabel paket Developer; openai/gpt-oss-120b, qwen/qwen3.8-27b 1.000 250.000 500.000 permintaan –
Cerebras Free Trial; gpt-oss-120b 5 30.000 tanpa cache (total 90.000) 1.000.000 token –
Cerebras Developer (bayar sesuai pemakaian); gpt-oss-120b 1.000 500.000 tanpa cache (total 1.500.000) Tanpa batas –
Fireworks AI Tanpa metode pembayaran atau kredit; seluruh akun 10 – – –
Fireworks AI Dengan metode pembayaran dan kredit; seluruh akun 6.000 Ditentukan tier pengeluaran – –
DeepInfra Default; per model publik – – – 200
DeepSeek Default; deepseek-flash (DeepSeek-V4.1-Flash-1017), per akun – – – 2.500
DeepSeek Default; deepseek-v4-pro (DeepSeek-V4-Pro-0813), per akun – – – 500
xAI Tier 0; grok-4.7 (150 RPS) – 50.000.000 – –
OpenRouter Model :free, pembelian kredit di bawah USD 10 20 – 50 permintaan –
OpenRouter Model :free, pembelian kredit USD 10 atau lebih 20 – 1.000 permintaan –
Cohere Kunci trial; Command A 20 – 1.000 panggilan per bulan –
Cohere Kunci produksi; Command A 500 – – –
BroadNet Inference Kunci bayar sesuai pemakaian; semua model 30 – – 4
BroadNet Inference Kunci per jam; Gemma 4 VL 26B 120 300,000 – 1 stream
BroadNet Inference Sesi paket harga tetap; DeepSeek V4.1 Flash – Tanpa meteran token – 1 permintaan dalam satu waktu

Catatan untuk baris-baris di atas:

  • Groq. Halamannya punya dua tab, “Free Plan Limits” (terbuka secara default) dan “Developer Plan Limits”. Kalimat di atasnya menyebut angka tersebut “the base limits for the Developer plan” (Terjemahan BroadRouter: “batas dasar untuk paket Developer”), yang hanya cocok untuk tab kedua; tabel di atas memuat keduanya. Batas pasti organisasi Anda ada di halaman limits-nya.
  • Google. Batas berlaku per proyek, bukan per kunci API. Angka untuk sebagian besar model hanya muncul di dalam AI Studio. Gemini Decision 1 adalah model klasifikasi untuk Decisions API Google: model ini mengembalikan probabilitas, bukan teks, sehingga batasnya tidak banyak menggambarkan model chat Gemini.
  • Mistral dan Together AI tidak memublikasikan angka. Mistral menampilkan batas Anda di konsolnya alih-alih memublikasikan tabel, dan tidak menawarkan akses API gratis (“It doesn’t include API access”; Terjemahan BroadRouter: “Tidak termasuk akses API”). Together menyatakan bahwa mereka “may limit requests” (Terjemahan BroadRouter: “dapat membatasi permintaan”) saat permintaan tinggi dan dapat menetapkan batas khusus pada model populer.
  • OpenRouter. Varian model berbayar punya “no platform-level request cap” (Terjemahan BroadRouter: “tidak ada batas permintaan di tingkat platform”), tetapi penyedia di balik tiap model tetap punya batasnya sendiri.
  • DeepSeek. Saat sibuk, DeepSeek menjaga koneksi tetap terbuka dengan baris kosong atau komentar : keep-alive, dan menutupnya jika inferensi belum dimulai dalam 10 menit. Atur timeout klien Anda dengan memperhitungkan hal ini.

Jujur saja, bagaimana batas BroadNet dibandingkan yang lain?

Rendah untuk pekerjaan bervolume tinggi. Kunci BroadNet bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan berjalan, sementara tier berbayar pertama OpenAI dan Anthropic mengizinkan ribuan permintaan per menit, dan Fireworks mengizinkan 6.000 setelah kartu terdaftar. Jika Anda perlu mendorong ribuan permintaan pendek per menit melalui satu kunci, tier berbayar penyedia besar lebih cocok.

Batas ini cocok untuk bentuk beban kerja lain:

  • Agen dan chat. Satu agen mengirim satu permintaan dalam satu waktu lalu menunggu. 4 permintaan berjalan cukup untuk beberapa agen per kunci; satu kunci per aplikasi atau anggota tim menyebarkan bebannya.
  • Paket harga tetap. Sesi Full Moon, Orbit, atau Meteor tidak punya meteran token dan tidak punya batas harian atau mingguan, tetapi menjalankan satu permintaan dalam satu waktu dengan kecepatan tipikal sekitar 100 token per detik. Untuk menjalankan agen secara paralel, beli satu sesi untuk masing-masing. Berapa sesi yang Anda butuhkan.
  • Kunci per jam. $0.50 per jam memberi satu stream Gemma 4 VL 26B dengan 120 permintaan dan 300,000 token per menit.

Semua batas BroadNet mengembalikan HTTP 429. Referensi API tidak memberikan waktu retry-after, jadi gunakan backoff terbatas dengan jitter.

Bagaimana merencanakan beban kerja di sekitar rate limit?

  1. Temukan batas yang mengikat Anda. Hitung permintaan per menit, token per menit, dan permintaan berjalan untuk trafik puncak Anda. Kalkulator rate limit LLM menghitungnya dari ukuran permintaan dan latensi.
  2. Lakukan throttling di klien. Token bucket yang sesuai dengan batas yang dipublikasikan mencegah sebagian besar 429. Anthropic memakai algoritma yang sama di sisi server.
  3. Baca header-nya. Anthropic mengembalikan header anthropic-ratelimit-*; Groq mengembalikan header x-ratelimit-*, dengan header requests yang “always refers to Requests Per Day” (Terjemahan BroadRouter: “selalu merujuk ke permintaan per hari”). Gunakan retry-after jika ada.
  4. Retry dengan backoff dan jitter, dan batasi jumlah retry. Menangani error 429 berisi kode yang berfungsi, dan error dan retry membahas kode status BroadNet.
  5. Cache prefiks yang stabil. Di Anthropic, input cache tidak dihitung ke batas input. Di mana pun, cache memangkas biaya.
  6. Sebarkan job massal. Anthropic juga menerapkan ramp limit: lonjakan trafik mendadak bisa mengembalikan 429 meski Anda di bawah batas. Mulai job batch secara perlahan. Tanpa Batch API, runner batch yang bisa dilanjutkan menjaga job tetap di dalam batasnya.
  7. Minta batas lebih tinggi. DeepSeek, DeepInfra, Mistral, dan Anthropic semuanya menjelaskan jalur permintaan untuk batas yang lebih tinggi.

Di mana posisi BroadNet Inference?

BroadRouter adalah situs web milik BroadNet sendiri, jadi pertimbangkan bagian ini dengan mengingat hal tersebut. BroadNet Inference bukan pilihan untuk laju permintaan sangat tinggi pada satu kunci: batas per kunci yang dipublikasikannya jauh di bawah tier berbayar OpenAI, Anthropic, Fireworks, atau Cerebras. Layanan ini cocok untuk beban kerja agen dan chat yang mengirim beberapa permintaan sekaligus, terutama di paket harga tetap yang tidak punya meteran token atau batas harian untuk agen yang sibuk. Akun baru mendapat kredit awal $5 untuk Gemma 4 VL 26B, dua model transkripsi, dan kunci per jam Gemma; DeepSeek, GLM, dan Qwen membutuhkan top up. Layanan swalayan (self-serve) tidak memiliki SLA. Baca batas API atau bandingkan paket.

Pertanyaan umum

Berapa rate limit API OpenAI di tier berbayar pertama?

Panduan rate limit OpenAI (dicek 15 November 2026) menempatkan tier Build pada total pembelian kredit USD 5, dengan batas pemakaian bulanan USD 500. Build mengizinkan 5.000 RPM dan 1.000.000 TPM di Astra, Sol, dan Terra, serta 5.000 RPM dan 2.000.000 TPM di Luna. Batas berlaku per organisasi dan per proyek.

Berapa rate limit API Anthropic?

Di tier Start, Claude Sonnet 5.5, Opus 5.5, dan Haiku 5.5 masing-masing mengizinkan 4.000 RPM, 2.000.000 token input per menit, dan 400.000 token output per menit (dicek 15 November 2026). Hanya input yang tidak di-cache yang dihitung ke batas input. Organisasi baru bisa mulai di tier Evaluation yang lebih rendah.

Berapa rate limit gratis Groq?

Tabel yang dipublikasikan Groq (dicek 15 November 2026) menunjukkan 30 permintaan per menit, 1.000 permintaan per hari, 8.000 token per menit, dan 200.000 token per hari untuk openai/gpt-oss-120b dan qwen/qwen3.8-27b. Groq mencatat bahwa batas pasti organisasi Anda ada di halaman limits-nya. Tabel paket Developer-nya menunjukkan 1.000 permintaan per menit, 500.000 permintaan per hari, dan 250.000 token per menit untuk model yang sama.

Apakah API DeepSeek punya rate limit?

Ya, dalam bentuk konkurensi. DeepSeek mengizinkan 2.500 permintaan bersamaan per akun di deepseek-flash dan 500 di deepseek-v4-pro, dan mengembalikan HTTP 429 di atas itu. Batas lebih tinggi tersedia atas permintaan tanpa biaya tambahan (dicek 15 November 2026).

Apa beda RPM, TPM, dan konkurensi?

RPM menghitung permintaan yang dimulai per menit. TPM menghitung token yang diproses per menit, kadang input dan output terpisah. Konkurensi menghitung permintaan yang sedang berjalan pada saat yang sama, jadi permintaan panjang menghabiskannya meski RPM-nya rendah.

Berapa rate limit BroadNet Inference?

Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan berjalan. Kunci per jam mengizinkan 120 permintaan per menit, 300,000 token per menit, dan 1 stream di Gemma 4 VL 26B. Sesi paket harga tetap menjalankan satu permintaan dalam satu waktu. Semuanya mengembalikan HTTP 429 bila batas terlampaui.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity