BroadRouter

Had kadar API LLM mengikut penyedia: RPM, TPM dan keserentakan

Oleh pasukan BroadNet Inference · 8 minit bacaan · Diterbitkan · Dikemas kini

Had kadar API LLM berbeza dari segi jenis, bukan saiz sahaja. OpenAI, Anthropic dan Gemini mengehadkan permintaan dan token seminit mengikut peringkat penggunaan. DeepSeek dan DeepInfra mengehadkan permintaan serentak. Peringkat percuma Groq dan Cerebras menambah had harian. Pada peringkat berbayar pertama, OpenAI dan Anthropic membenarkan beribu-ribu permintaan seminit; kunci bayar ikut guna BroadNet membenarkan 30.

Cari “had kadar API LLM” dan anda akan menemui jadual blog yang saling bercanggah, selalunya kerana menyalin angka lama. Halaman ini membaca setiap angka daripada dokumentasi penyedia itu sendiri pada 15 November 2026, menyatakan peringkat dan model yang berkenaan, dan membiarkan sel kosong apabila penyedia tidak menerbitkan angka. Untuk data yang sama sebagai set data yang boleh dimuat turun, bersama kredit percuma dan terma penggunaan data, lihat peringkat percuma dan had kadar API LLM. BroadRouter ialah laman web BroadNet sendiri, dan had BroadNet juga ada dalam jadual.

Apakah maksud RPM, TPM, RPD dan keserentakan?

Had kadar mengehadkan jumlah yang boleh anda hantar dalam satu tetingkap masa. Penyedia mengira perkara yang berbeza:

Had Apa yang dikira Paling terasa apabila
RPM, permintaan seminit Permintaan yang dimulakan dalam seminit Anda menghantar banyak panggilan pendek (klasifikasi, gelung gaya embeddings)
RPS, permintaan sesaat Sama, tetapi dalam satu saat Anda menghantar secara serentak mendadak, walaupun purata seminit rendah
TPM, token seminit Token yang diproses dalam seminit, kadangkala input (ITPM) dan output (OTPM) secara berasingan Anda menghantar prompt atau dokumen yang panjang
RPD / TPD, sehari Permintaan atau token dalam sehari Anda menjalankan kerja batch pada peringkat percuma
Keserentakan Permintaan yang sedang berjalan pada satu-satu masa Permintaan lambat: penaakulan, output panjang, ejen

Had yang terkena bergantung pada bentuk permintaan anda. Dengan had keserentakan, daya pemprosesan bergantung pada panjang permintaan: dokumentasi DeepInfra sendiri memberi contoh bahawa 200 permintaan serentak dengan purata 1 saat bersamaan kira-kira 12,000 RPM. Permintaan penaakulan 30 saat pada keserentakan yang sama hanya memberi sebahagian kecil daripadanya.

Kebanyakan penyedia juga menguatkuasakan had dalam tetingkap yang lebih pendek daripada yang diterbitkan. Anthropic menyatakan had 60 RPM “might be enforced as 1 request per second” (Terjemahan: mungkin dikuatkuasakan sebagai 1 permintaan sesaat), dan xAI menerbitkan had sesaatnya daripada bajet seminit (“RPM / 48, with a minimum of 2”; Terjemahan: RPM / 48, dengan minimum 2).

Bagaimanakah peringkat penggunaan berfungsi?

Penyedia model tertutup yang besar menaikkan had anda apabila anda berbelanja lebih:

Penyedia Peringkat (disemak 2026-11-15) Cara naik peringkat
OpenAI Free, Build, Launch, Grow Free: pengguna mesti berada di lokasi yang dibenarkan; had penggunaan bulanan USD 100 (had perbelanjaan, bukan kredit). Kemudian jumlah pembelian kredit USD 5, USD 100 dan USD 500, dengan had penggunaan bulanan USD 500, USD 5,000 dan USD 200,000
Anthropic Evaluation, Start, Build, Scale, Custom Automatik, mengikut sejarah penggunaan dan status akaun. Had perbelanjaan bulanan: Start USD 500, Build USD 1,000, Scale USD 200,000
Google Gemini API Free, Tier 1, Tier 2, Tier 3 Tier 1 memerlukan akaun pengebilan yang dipautkan; Tier 2 memerlukan USD 100 dibayar dan 3 hari; Tier 3 USD 1,000 dan 30 hari. Google menyatakan had kadar yang ditetapkan “not guaranteed” (Terjemahan: tidak dijamin) dan “no guarantees” (Terjemahan: tiada jaminan) bagi permohonan kenaikan
Fireworks AI Tier 1 hingga Tier 4 Kaedah pembayaran untuk Tier 1, kemudian perbelanjaan atau kredit USD 50, USD 500 dan USD 5,000. Peringkat menaikkan TPM, bukan RPM
xAI Tier 0 hingga Tier 4, Enterprise Perbelanjaan terkumpul sejak 1 Januari 2026: USD 0, 50, 250, 1,000 dan 5,000

Dua butiran penting dalam amalan. Had perbelanjaan Anthropic memulangkan HTTP 429 tanpa pengepala retry-after apabila dicapai, jadi cubaan semula automatik terus gagal sehingga bulan ditetapkan semula atau anda bertukar peringkat. Dan had input Anthropic hanya mengira input yang tidak dicache: bacaan cache tidak dikira, jadi kadar cache yang tinggi meningkatkan daya pemprosesan sebenar anda.

Had kadar API LLM mengikut penyedia: peringkat permulaan

Angka bagi peringkat percuma atau berbayar pertama setiap penyedia, daripada halaman had kadarnya sendiri. Sengkang bermaksud halaman itu tidak menerbitkan angka bagi had tersebut; ia tidak bermaksud tanpa had.

Penyedia Peringkat dan model RPM TPM Sehari Keserentakan
OpenAI Build; Astra, Sol, Terra 5,000 1,000,000 – –
OpenAI Build; Luna 5,000 2,000,000 – –
Anthropic Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 4,000 2,000,000 input (tidak dicache), 400,000 output – –
Google Gemini API Free; Gemini Decision 1 (satu-satunya model dengan angka percuma di halaman) 200 50,000 10,000 permintaan –
Google Gemini API Tier 1; Gemini Decision 1 1,500 1,000,000 50,000 permintaan –
Groq Jadual pelan percuma; openai/gpt-oss-120b, qwen/qwen3.8-27b 30 8,000 1,000 permintaan, 200,000 token –
Groq Jadual pelan Developer; openai/gpt-oss-120b, qwen/qwen3.8-27b 1,000 250,000 500,000 permintaan –
Cerebras Free Trial; gpt-oss-120b 5 30,000 tidak dicache (90,000 jumlah) 1,000,000 token –
Cerebras Developer (bayar ikut guna); gpt-oss-120b 1,000 500,000 tidak dicache (1,500,000 jumlah) Tiada had –
Fireworks AI Tiada kaedah pembayaran atau kredit; seluruh akaun 10 – – –
Fireworks AI Dengan kaedah pembayaran dan kredit; seluruh akaun 6,000 Ditetapkan oleh peringkat perbelanjaan – –
DeepInfra Lalai; setiap model awam – – – 200
DeepSeek Lalai; deepseek-flash (DeepSeek-V4.1-Flash-1017), setiap akaun – – – 2,500
DeepSeek Lalai; deepseek-v4-pro (DeepSeek-V4-Pro-0813), setiap akaun – – – 500
xAI Tier 0; grok-4.7 (150 RPS) – 50,000,000 – –
OpenRouter Model :free, kurang daripada USD 10 kredit dibeli 20 – 50 permintaan –
OpenRouter Model :free, USD 10 kredit atau lebih dibeli 20 – 1,000 permintaan –
Cohere Kunci percubaan; Command A 20 – 1,000 panggilan sebulan –
Cohere Kunci pengeluaran; Command A 500 – – –
BroadNet Inference Kunci bayar ikut guna; mana-mana model 30 – – 4
BroadNet Inference Kunci sejam; Gemma 4 VL 26B 120 300,000 – 1 strim
BroadNet Inference Sesi pelan kadar tetap; DeepSeek V4.1 Flash – Tiada meter token – 1 permintaan pada satu masa

Nota tentang baris:

  • Groq. Halaman itu ada dua tab, “Free Plan Limits” (dibuka secara lalai) dan “Developer Plan Limits”. Ayat di atasnya menggelar angka itu “the base limits for the Developer plan” (Terjemahan: had asas untuk pelan Developer), yang hanya sesuai dengan tab kedua; jadual di atas menunjukkan kedua-duanya. Had tepat organisasi anda ada di halaman hadnya.
  • Google. Had dikenakan bagi setiap projek, bukan setiap kunci API. Angka kebanyakan model hanya dipaparkan dalam AI Studio. Gemini Decision 1 ialah model pengelasan untuk Decisions API Google: ia memulangkan kebarangkalian, bukan teks, jadi hadnya tidak banyak menggambarkan model sembang Gemini.
  • Mistral dan Together AI tidak menerbitkan angka. Mistral memaparkan had anda dalam konsolnya dan bukannya menerbitkan jadual, serta tidak menawarkan akses API percuma (“It doesn’t include API access”; Terjemahan: Ia tidak termasuk akses API). Together menyatakan ia “may limit requests” (Terjemahan: mungkin mengehadkan permintaan) apabila permintaan tinggi dan mungkin menetapkan had tersuai pada model popular.
  • OpenRouter. Varian model berbayar mempunyai “no platform-level request cap” (Terjemahan: tiada had permintaan di peringkat platform), tetapi penyedia di sebalik setiap model masih mempunyai had sendiri.
  • DeepSeek. Apabila sibuk, DeepSeek memastikan sambungan kekal terbuka dengan baris kosong atau komen : keep-alive, dan menutupnya jika inferens belum bermula dalam masa 10 minit. Tetapkan tamat masa klien anda dengan mengambil kira perkara ini.

Bagaimanakah had BroadNet dibandingkan, secara jujur?

Had ini rendah untuk kerja bervolum tinggi. Kunci bayar ikut guna BroadNet membenarkan 30 permintaan seminit dan 4 serentak, manakala peringkat berbayar pertama OpenAI dan Anthropic membenarkan beribu-ribu permintaan seminit, dan Fireworks membenarkan 6,000 sebaik sahaja kad didaftarkan. Jika anda perlu menyalurkan beribu-ribu permintaan pendek seminit melalui satu kunci, peringkat berbayar penyedia besar lebih sesuai.

Had ini sesuai dengan bentuk kerja lain:

  • Ejen dan chat. Satu ejen menghantar satu permintaan pada satu masa dan menunggu. 4 serentak mencukupi untuk beberapa ejen bagi setiap kunci; satu kunci bagi setiap aplikasi atau rakan sepasukan menyebarkan beban.
  • Pelan kadar tetap. Sesi Full Moon, Orbit atau Meteor tiada meter token dan tiada had harian atau mingguan, tetapi menjalankan satu permintaan pada satu masa pada kelajuan biasa kira-kira 100 token sesaat. Untuk menjalankan ejen secara selari, beli satu sesi bagi setiap ejen. Berapa banyak sesi yang anda perlukan.
  • Kunci sejam. $0.50 sejam membeli satu strim Gemma 4 VL 26B pada 120 permintaan dan 300,000 token seminit.

Semua had BroadNet memulangkan HTTP 429. Rujukan API tidak memberi masa retry-after, jadi gunakan backoff terhad dengan jitter.

Bagaimanakah anda merancang mengikut had kadar?

  1. Cari had yang mengikat anda. Kira permintaan seminit, token seminit dan permintaan serentak untuk trafik puncak anda. Kalkulator had kadar LLM melakukannya berdasarkan saiz permintaan dan kependaman.
  2. Hadkan kadar di sisi klien. Token bucket yang sepadan dengan had terbitan mengelakkan kebanyakan 429. Anthropic menggunakan algoritma yang sama di sisi pelayan.
  3. Baca pengepala. Anthropic memulangkan pengepala anthropic-ratelimit-*; Groq memulangkan pengepala x-ratelimit-*, dengan pengepala permintaannya “always refers to Requests Per Day” (Terjemahan: sentiasa merujuk kepada Permintaan Sehari). Gunakan retry-after apabila ada.
  4. Cuba semula dengan backoff dan jitter, dan hadkan cubaan semula. Mengendalikan ralat 429 mempunyai kod yang berfungsi, dan ralat dan cuba semula merangkumi kod status BroadNet.
  5. Cache awalan yang stabil. Di Anthropic, input cache tidak dikira dalam had input. Di mana-mana penyedia, ia mengurangkan kos.
  6. Sebarkan kerja pukal. Anthropic juga mengenakan had peningkatan: lonjakan trafik mendadak boleh memulangkan 429 walaupun di bawah had anda. Mulakan kerja batch secara perlahan. Tanpa Batch API, pelari batch yang boleh disambung semula memastikan kerja kekal dalam hadnya.
  7. Minta had lebih tinggi. DeepSeek, DeepInfra, Mistral dan Anthropic semuanya menerangkan cara memohon had lebih tinggi.

Di manakah BroadNet Inference sesuai

BroadRouter ialah laman web BroadNet sendiri, jadi nilailah bahagian ini dengan sewajarnya. BroadNet Inference bukan pilihan untuk kadar permintaan yang sangat tinggi pada satu kunci: had setiap kunci yang diterbitkannya jauh di bawah peringkat berbayar OpenAI, Anthropic, Fireworks atau Cerebras. Ia sesuai untuk beban kerja ejen dan chat yang menghantar beberapa permintaan pada satu masa, terutamanya pada pelan kadar tetap di mana ejen yang sibuk tiada meter token atau had harian. Akaun baharu mendapat kredit permulaan $5 untuk Gemma 4 VL 26B, dua model transkripsi dan kunci sejam Gemma; DeepSeek, GLM dan Qwen memerlukan tambah nilai. Layan diri tiada SLA. Baca had API atau bandingkan pelan.

Soalan lazim

Apakah had kadar API OpenAI pada peringkat berbayar pertama?

Panduan had kadar OpenAI (disemak 15 November 2026) meletakkan peringkat Build pada jumlah pembelian kredit USD 5, dengan had penggunaan bulanan USD 500. Build membenarkan 5,000 RPM dan 1,000,000 TPM pada Astra, Sol dan Terra, serta 5,000 RPM dan 2,000,000 TPM pada Luna. Had dikenakan bagi setiap organisasi dan setiap projek.

Berapakah had kadar API Anthropic?

Pada peringkat Start, Claude Sonnet 5.5, Opus 5.5 dan Haiku 5.5 masing-masing membenarkan 4,000 RPM, 2,000,000 token input seminit dan 400,000 token output seminit (disemak 15 November 2026). Hanya input yang tidak dicache dikira dalam had input. Organisasi baharu mungkin bermula di peringkat Evaluation yang lebih rendah.

Apakah had kadar percuma Groq?

Jadual terbitan Groq (disemak 15 November 2026) menunjukkan 30 permintaan seminit, 1,000 permintaan sehari, 8,000 token seminit dan 200,000 token sehari untuk openai/gpt-oss-120b dan qwen/qwen3.8-27b. Groq menyatakan had tepat organisasi anda ada di halaman hadnya. Jadual pelan Developer pula menunjukkan 1,000 permintaan seminit, 500,000 permintaan sehari dan 250,000 token seminit untuk model yang sama.

Adakah API DeepSeek mempunyai had kadar?

Ya, dalam bentuk keserentakan. DeepSeek membenarkan 2,500 permintaan serentak bagi setiap akaun pada deepseek-flash dan 500 pada deepseek-v4-pro, dan memulangkan HTTP 429 jika melebihinya. Had lebih tinggi boleh dipohon tanpa kos tambahan (disemak 15 November 2026).

Apakah perbezaan antara RPM, TPM dan keserentakan?

RPM mengira permintaan yang dimulakan seminit. TPM mengira token yang diproses seminit, kadangkala input dan output secara berasingan. Keserentakan mengira permintaan yang sedang berjalan pada satu-satu masa, jadi permintaan yang panjang menghabiskannya walaupun RPM rendah.

Apakah had kadar BroadNet Inference?

Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Kunci sejam membenarkan 120 permintaan seminit, 300,000 token seminit dan 1 strim pada Gemma 4 VL 26B. Sesi pelan kadar tetap menjalankan satu permintaan pada satu masa. Semuanya memulangkan HTTP 429 apabila dilebihi.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity