Hız sınırı ne kadar hızlı harcayabileceğinizi denetler. Harcama limiti ise ne kadar harcayabileceğinizi.
Nasıl çalışır
Sağlayıcılar birkaç tavanı üst üste koyar. Belgelenmiş iki örnek:
| Sağlayıcı | Denetim | Tavana ulaşınca ne olur |
|---|---|---|
| Anthropic | Takvim ayı başına kademe harcama tavanı (Start, Build, Scale; Custom’da yok) | Kullanım, bir sonraki ayın ilk günü 00:00 UTC’ye kadar durur; HTTP 429 rate_limit_error, error.details.error_code değeri enforced_spend_limit_reached, retry-after yok |
| Anthropic | Kuruluş veya çalışma alanı için kendi belirlediğiniz daha düşük limit | HTTP 400 invalid_request_error, mesaj “You have reached your specified API usage limits” ile başlar |
| OpenAI | Kademe başına aylık kullanım limiti | Rehberde açıklanmıyor |
| OpenAI | Harcama uyarısı | Bildirim gönderir; trafik devam eder |
| OpenAI | Kuruluş veya proje için kesin harcama limiti | Etkilenen istekler 429 döndürür |
Anthropic’in kademe tavanları aylık USD 500 (Start), USD 1.000 (Build) ve USD 200.000’dir (Scale). OpenAI’nin rehberi kademelere göre aylık kullanım limitlerini Free’de USD 100’den Grow’da USD 200.000’e kadar listeler ve toplam kredi alımları eşikleri geçtikçe kademelerin yükseldiğini söyler.
İşin zor tarafı, harcama limiti 429’unun hız sınırı 429’una benzemesidir. Anthropic’in API’sinde ikisini hata kodu ayırır ve harcama tavanı yanıtında retry-after başlığı yoktur:
err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
stop_job_and_alert() # retrying will not help
elif resp.status_code == 429:
backoff_and_retry()
Neden önemli
- Uyarılar geç gelir. Hızlı bir döngü, bir e-posta gelmeden çok para harcayabilir. Kesin bir tavan bunu durdurur.
- Yeniden denemeler durumu kötüleştirir. Her 429’da bekleyip yeniden deneyen bir istemci, harcama tavanını boş yere zorlar. İkisini ayırt edin.
- Paylaşılan tavanlar. Birçok uygulamanın paylaştığı hesap düzeyinde bir tavan, kontrolden çıkan tek bir işin diğerlerini engellemesine yol açar. Proje başına bütçeler veya kodunuzdaki kendi bütçeniz onları ayrı tutar.
BroadNet Inference’ta
BroadNet’in API referansı, kullandıkça öde anahtarı için altı limit listeler. Maliyeti ve işlem hacmini sınırlayan üçü dakikada 30 istek, aynı anda 4 istek ve “the native budget shared by the account’s pay-as-you-go keys” (BroadRouter çevirisi: hesabın kullandıkça öde anahtarlarının paylaştığı yerel bütçe) olarak tanımlanan harcamadır; diğerleri izin verilen modeller, bir yıllık anahtar ömrü ve hesap başına en fazla on etkin anahtardır. Hesap ön ödemelidir, bu yüzden bakiye en dıştaki tavandır. İki durum kodu önemlidir:
- 429: “A rate, concurrency, token-rate or spending limit was reached.” (BroadRouter çevirisi: bir hız, eşzamanlılık, token hızı veya harcama limitine ulaşıldı.)
- 401: eksik, geçersiz veya süresi dolmuş bir anahtar ya da paylaşılan kullandıkça öde bütçesi engellenmiş bir hesap (belgelerdeki ifade “a blocked native PAYG budget holder”), “including exhausted PAYG allowance” (BroadRouter çevirisi: tükenmiş PAYG hakkı dahil).
BroadNet’in gizlilik sayfası anahtarların model, hız ve harcamaya göre kapsamlandırıldığını söyler, ancak API referansı anahtar veya proje başına bir bütçe ayarı göstermez; bu yüzden LLM API harcama kontrolü yazısındaki gibi her istekten önce kendi kodunuza bir bütçe kontrolü koyun. Sabit bir en kötü durum için sabit fiyatlı plan veya $0.50 karşılığında saatlik bir anahtar, harcamayı tasarım gereği sınırlar. Yeniden deneme yönetimi hatalar ve yeniden denemeler rehberinde anlatılır.