Rate limit mengatur seberapa cepat Anda bisa berbelanja. Spend limit mengatur seberapa banyak.
Cara kerjanya
Penyedia menumpuk beberapa lapis batas. Dua contoh yang terdokumentasi:
| Penyedia | Kontrol | Yang terjadi saat tercapai |
|---|---|---|
| Anthropic | Batas pengeluaran per tier per bulan kalender (Start, Build, Scale; Custom tidak punya) | Pemakaian dihentikan sampai pukul 00:00 UTC tanggal satu bulan berikutnya; HTTP 429 rate_limit_error dengan error.details.error_code enforced_spend_limit_reached, tanpa retry-after |
| Anthropic | Batas lebih rendah yang Anda tetapkan sendiri, untuk organisasi atau workspace | HTTP 400 invalid_request_error, pesan diawali “You have reached your specified API usage limits” |
| OpenAI | Batas pemakaian bulanan per tier | Tidak dijelaskan di panduan |
| OpenAI | Spend alert | Mengirim notifikasi; trafik tetap berjalan |
| OpenAI | Hard spend limit, untuk organisasi atau proyek | Permintaan yang terdampak mengembalikan 429 |
Batas per tier Anthropic adalah USD 500 (Start), USD 1.000 (Build), dan USD 200.000 (Scale) per bulan. Panduan OpenAI mencantumkan batas pemakaian bulanan per tier, dari USD 100 di Free hingga USD 200.000 di Grow, dan menyatakan tier naik saat total pembelian kredit melewati ambang tertentu.
Bagian yang rumit: 429 karena spend limit terlihat sama dengan 429 karena rate limit. Di API Anthropic, kode error-nya yang membedakan, dan respons batas pengeluaran tidak punya header retry-after:
err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
stop_job_and_alert() # retrying will not help
elif resp.status_code == 429:
backoff_and_retry()
Mengapa penting
- Alert datang terlambat. Loop yang cepat bisa menghabiskan banyak uang sebelum email sampai. Batas keras (hard cap) menghentikannya.
- Retry memperburuk keadaan. Klien yang melakukan backoff dan retry untuk setiap 429 akan menghantam spend limit tanpa guna. Bedakan keduanya.
- Batas bersama. Batas level akun yang dipakai banyak aplikasi membuat satu job yang lepas kendali bisa memblokir yang lain. Anggaran per proyek atau anggaran di kode Anda sendiri menjaga semuanya terpisah.
Di BroadNet Inference
Referensi API BroadNet mencantumkan enam batas pada key bayar sesuai pemakaian. Tiga yang membatasi biaya dan throughput adalah 30 permintaan per menit, 4 permintaan berjalan bersamaan, dan pengeluaran, yang didefinisikan sebagai “the native budget shared by the account’s pay-as-you-go keys” (Terjemahan BroadRouter: anggaran native yang dipakai bersama oleh key bayar sesuai pemakaian di akun itu); sisanya adalah model yang diizinkan, masa berlaku key satu tahun, dan maksimal sepuluh key aktif per akun. Akunnya prabayar, jadi saldo adalah batas terluar. Dua kode status yang penting:
- 429: “A rate, concurrency, token-rate or spending limit was reached.” (Terjemahan BroadRouter: batas laju, konkurensi, laju token, atau pengeluaran telah tercapai.)
- 401: key yang tidak ada, tidak valid, atau kedaluwarsa, atau akun yang anggaran bayar sesuai pemakaian bersamanya diblokir (dokumentasinya memakai frasa “a blocked native PAYG budget holder”), “including exhausted PAYG allowance” (Terjemahan BroadRouter: termasuk jatah PAYG yang sudah habis).
Halaman privasi BroadNet menyebut key dibatasi berdasarkan model, laju, dan pengeluaran, tetapi referensi API tidak menunjukkan pengaturan anggaran per key atau per proyek, jadi pasang pengecekan anggaran berjalan di kode Anda sendiri sebelum setiap permintaan, seperti di kontrol pengeluaran API LLM. Untuk skenario terburuk yang pasti, paket harga tetap atau key per jam seharga $0.50 membatasi pengeluaran secara desain. Penanganan retry ada di panduan error dan retry.