Had kadar mengawal sepantas mana anda boleh berbelanja. Had perbelanjaan mengawal sebanyak mana.
Cara ia berfungsi
Penyedia menyusun beberapa lapisan had. Dua contoh yang didokumenkan:
| Penyedia | Kawalan | Apa yang berlaku apabila dicapai |
|---|---|---|
| Anthropic | Had perbelanjaan peringkat setiap bulan kalendar (Start, Build, Scale; Custom tiada had) | Penggunaan dijeda hingga 00:00 UTC pada hari pertama bulan berikutnya; HTTP 429 rate_limit_error dengan error.details.error_code enforced_spend_limit_reached, tiada retry-after |
| Anthropic | Had anda sendiri yang lebih rendah, organisasi atau ruang kerja | HTTP 400 invalid_request_error, mesej bermula dengan “You have reached your specified API usage limits” |
| OpenAI | Had penggunaan bulanan setiap peringkat | Tidak diterangkan dalam panduan |
| OpenAI | Amaran perbelanjaan | Menghantar pemberitahuan; trafik diteruskan |
| OpenAI | Had perbelanjaan mutlak, organisasi atau projek | Permintaan yang terjejas memulangkan 429 |
Had peringkat Anthropic ialah USD 500 (Start), USD 1,000 (Build) dan USD 200,000 (Scale) sebulan. Panduan OpenAI menyenaraikan had penggunaan bulanan mengikut peringkat, daripada USD 100 pada Free hingga USD 200,000 pada Grow, dan menyatakan peringkat naik apabila jumlah pembelian kredit melepasi ambang tertentu.
Bahagian yang mengelirukan ialah 429 had perbelanjaan kelihatan sama seperti 429 had kadar. Pada API Anthropic, kod ralat membezakan kedua-duanya, dan respons had perbelanjaan tidak mempunyai pengepala retry-after:
err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
stop_job_and_alert() # retrying will not help
elif resp.status_code == 429:
backoff_and_retry()
Mengapa ia penting
- Amaran datang lambat. Gelung yang pantas boleh membelanjakan banyak sebelum e-mel tiba. Had mutlak menghentikannya.
- Cuba semula memburukkan keadaan. Klien yang membuat backoff dan mencuba semula setiap 429 akan terus mengasak had perbelanjaan tanpa hasil. Bezakan kedua-duanya.
- Had dikongsi. Had peringkat akaun yang dikongsi oleh banyak aplikasi membolehkan satu tugas yang terlepas kawalan menyekat yang lain. Bajet setiap projek atau bajet dalam kod anda sendiri memisahkannya.
Di BroadNet Inference
Rujukan API BroadNet menyenaraikan enam had pada kunci bayar ikut guna. Tiga yang mengehadkan kos dan daya pemprosesan ialah 30 permintaan seminit, 4 serentak, dan perbelanjaan, yang ditakrifkan sebagai “the native budget shared by the account’s pay-as-you-go keys” (Terjemahan BroadRouter: “bajet native yang dikongsi oleh kunci bayar ikut guna akaun itu”); yang lain ialah model yang dibenarkan, jangka hayat kunci satu tahun dan sehingga sepuluh kunci aktif bagi setiap akaun. Akaun ini prabayar, jadi baki ialah had luarnya. Dua kod status penting:
- 429: “A rate, concurrency, token-rate or spending limit was reached.” (Terjemahan BroadRouter: “Had kadar, keserentakan, kadar token atau perbelanjaan telah dicapai.”)
- 401: kunci yang tiada, tidak sah atau tamat tempoh, atau akaun yang bajet bayar ikut guna dikongsinya disekat (perkataan dokumentasi ialah “a blocked native PAYG budget holder” (Terjemahan BroadRouter: “pemegang bajet PAYG native yang disekat”)), “including exhausted PAYG allowance” (Terjemahan BroadRouter: “termasuk elaun PAYG yang telah habis”).
Halaman privasi BroadNet menyatakan kunci diskop mengikut model, kadar dan perbelanjaan, tetapi rujukan API tidak menunjukkan tetapan bajet bagi setiap kunci atau projek, jadi letakkan semakan bajet berjalan dalam kod anda sendiri sebelum setiap permintaan, seperti dalam kawalan perbelanjaan API LLM. Untuk senario terburuk yang tetap, pelan harga tetap atau kunci sejam pada $0.50 mengehadkan perbelanjaan secara reka bentuk. Pengendalian cuba semula ada dalam panduan ralat dan cuba semula.