LLM faturası sürprizlerinin çoğunun nedeni aynıdır: bir şey, kimse izlemezken API’yi çağırmaya devam etmiştir. Bir yeniden deneme döngüsü, işini bitiremeyen bir ajan, herkese açık bir depoya sızmış bir anahtar. Bütçe alarmları bunu size olaydan sonra bildirir. Bu yazı, hesaptan tek bir isteğe kadar katmanlı bir harcama kontrolü kuruyor ve hangi kısımları BroadNet Inference’ın üstlendiğini, hangilerini kodda sizin eklediğinizi gösteriyor.
Alarmlar neden yeterli değil?
Bir alarm, kullanım kaydedildikten sonra harcamayı bir eşikle karşılaştırır. Bir ajan döngüsü dakikada onlarca istek yapabilir. E-posta geldiğinde para çoktan gitmiştir. Alarmları son savunma hattı olarak kullanın, kesin durdurmayı ise isteğin yapıldığı yere koyun.
LLM harcama kontrolünün katmanları nelerdir?
| Katman | Kontrol | Neyi durdurur | Nerede ayarlanır |
|---|---|---|---|
| Hesap | Ön ödemeli bakiye | Yüklediğinizin ötesindeki harcamayı | Sağlayıcı hesabı |
| Anahtar | Uygulama veya ajan başına bir anahtar | Tek bir sızıntının her şeyi götürmesini | Sağlayıcı portalı |
| Anahtar | IP izin listesi | Çalınan bir anahtarın başka yerden kullanılmasını | Sağlayıcı portalı |
| İstek | max_tokens, reasoning_effort |
Tek bir devasa yanıtı | Kodunuz |
| İş | Adım sınırı, yeniden deneme sınırı, döngü tespiti | Kontrolden çıkan ajanları | Kodunuz |
| İş | Görev ve gün başına birikmiş bütçe | Çok sayıda çağrıya yayılan yavaş sızıntıları | Kodunuz veya proxy |
| Raporlama | Token kaydı ve alarmlar | Fark etmeyeceğiniz kaymaları | Kayıtlarınız |
| Fiyatlandırma | Sabit plan veya saatlik anahtar | Token sayacının kendisini | Plan seçimi |
Hesap düzeyi: ön ödemeli bakiye harcamayı nasıl sınırlar?
BroadNet Inference kullandıkça öde anahtarları ön ödemeli bir hesap bakiyesinden çeker; yeni hesaplar $5 krediyle ve kart olmadan başlar. Kullandıkça öde kullanım hakkı bittiğinde istekler 401 döndürür; bakiyenin karşılayamadığı bir satın alım (örneğin saatlik anahtar) ise 402 insufficient_balance döndürür. İkisini de yeniden denenecek bir şey olarak değil, dur işareti olarak görün. BroadNet’in hata referansı, 429’un nedenleri arasında harcama sınırını da sayar; bu yüzden herhangi bir 429’u yeniden denemeden önce hata gövdesini okuyun. Tüm hata kodları ve 429’ları geri çekilmeyle ele alma.
Bakiye sizin dış tavanınızdır. Onu bir yıllığına değil, bu ay kaybetmeyi göze aldığınız tutar kadar yükleyin. Bu tutarı belirlemek için önce beklenen trafiğinizi LLM API maliyet hesaplayıcısında çalıştırın.
Anahtar düzeyi: sızan bir anahtarın zararını nasıl sınırlarsınız?
Bir API anahtarı harcama yetkisidir: onu elinde tutan bakiyenizi kullanabilir. Her anahtarın etki alanını sınırlayın:
- Uygulama, ajan veya ortam başına bir anahtar. BroadNet hesap başına en fazla 10 etkin anahtara izin verir; her biri en fazla bir yıl geçerlidir. Kayıtlar hangisinin harcadığını söylesin diye anahtarlara ad verin.
- Anahtarları sunucularınıza kilitleyin. Çıkış IP’lerinizi veya CIDR aralıklarınızı IP izin listesine ekleyin, en fazla 32 girdi. Diğer adreslerden gelen istekler 403 alır.
- Hızlı iptal edin. İptaller ve izin listesi değişiklikleri yeni isteklere beş saniye içinde uygulanır.
- Portal kimlik bilgilerini sunuculardan uzak tutun. Bunlar anahtar oluşturabilir ve satın alım yapabilir. Çıkarım anahtarları ise yalnızca model çağırır.
API anahtarlarını IP izin listeleriyle kilitleyin.
İstek düzeyi: her yanıtı nasıl sınırlarsınız?
Her çağrıda max_tokens ayarlayın. Akıl yürütme modellerinde (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B) bunu 1.000 veya üzerinde tutun; çünkü düşünme aynı bütçeyi paylaşır ve çok düşük bir değer, yine de ödediğiniz boş bir yanıt döndürür. Basit görevlerde reasoning_effort değerini düşürün. Akıl yürütme token’ları nasıl faturalandırılır.
İş düzeyi: kontrolden çıkan bir ajan döngüsünü nasıl durdurursunuz?
Kontrolden çıkan döngülerin tanınabilir işaretleri vardır: aynı araç çağrısının tekrarlanması, her turda büyüyen bağlam ve sınırsız yeniden denenen hatalar. İstemcinin etrafına bir koruma koyun:
import json, os, urllib.request
from openai import OpenAI
# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)
class BudgetExceeded(Exception): pass
class Guard:
def __init__(self, budget_usd, max_steps=40):
self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []
def call(self, **kw):
self.steps += 1
if self.steps > self.max_steps: raise BudgetExceeded("step cap")
if self.spent >= self.budget: raise BudgetExceeded("budget")
r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
u = r.usage
cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
+ u.completion_tokens * PRICE["out"]) / 1e6
calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
self.last = (self.last + [calls])[-3:]
if calls and len(self.last) == 3 and all(c == calls for c in self.last):
raise BudgetExceeded("same tool call three times")
return r
Koruma fiyatları sabit kodlamak yerine fiyat listesinden okur; böylece fiyatlar değiştiğinde de doğru kalır. call() fonksiyonuna, fiyatlandırdığınız modelin aynısını verin. max_retries değerini küçük tutun: OpenAI SDK’ları 429 ve 5xx’i zaten yeniden dener ve her yeniden deneme tekrar faturalandırılır.
Bir ekip için aynı kontrolü paylaşılan bir proxy’de çalıştırın; böylece her servis tek bir günlük bütçeden çeker. Yeniden denemeler hız sınırlarına da takılır: hız sınırı hesaplayıcısı anahtarınızın dakikada gerçekte kaç çağrıya izin verdiğini gösterir.
Raporlama: neleri kaydetmeli ve neye alarm kurmalısınız?
Her istek için şunları kaydedin: anahtar takma adı, özellik veya ajan adı, model, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, durum ve X-Request-ID. Akışla çalışırken stream_options: {"include_usage": true} ayarlayın, yoksa kullanım bilgisi hiç gelmez (akış rehberi).
Bu kayıtlardan şunlar için alarm kurun:
- anahtar başına günlük maliyetin, maliyet tahmininizdeki beklenen rakamın üzerine çıkması;
- görev başına token’ın medyanın üç katından fazla olması;
- önbellek payının düşmesi; bu, trafik artmadan maliyeti yükseltir;
- 429 veya 5xx yanıtlarının oranının artması; bu da yeniden denemeler demektir.
BroadNet istemleri değil; zamanlamalar, token sayıları ve maliyet gibi içerik barındırmayan kayıtları tutar. Bu yüzden özellik bazındaki ayrıntılar sizin kayıtlarınızda yaşar. Veri politikanız yasaklıyorsa istem içeriğini kaydetmekten kaçının. Kullanıcı ve özellik başına maliyetle kullanım kaydı nasıl kurulur.
Fiyatlandırma düzeyi: sabit fiyat bir bütçeyi ne zaman geçer?
En güvenilir harcama kontrolü, değişmeyen bir fiyattır:
- Plan oturumu: sınırsız DeepSeek V4.1 Flash için ayda $60 (Full Moon), haftada $15 (Orbit) veya saatte $1 (Meteor); aynı anda tek istek. Plan anahtarıyla yapılan istekler bakiyenizden asla çekmez.
- Saatlik anahtar: tek akışta bir saatlik Gemma 4 VL 26B için $0.50. Sunucularınızın dışına çıkan anahtarlar için uygundur. Saatlik anahtarlar açıklandı.
Plandaki bir döngü para değil zaman harcar. Yine de adım sınırları istersiniz, çünkü takılan bir ajan oturumu başka işlere kapatır. Planın sayaçlı faturanızdan ucuz olup olmadığı hacme bağlıdır; sabit fiyat ve token başına hesaplayıcısı token karışımınız için başa baş noktasını verir.
Token başına ücretler de altınızda yükselebilir. Arşivlenmiş 52 LLM API fiyat artışı, bunun ne sıklıkla, hangi sağlayıcılarda ve ne kadar olduğunu gösteriyor.
Kısa bir kontrol listesi
- Aylık sınırınıza göre boyutlandırılmış ön ödemeli bakiye.
- Uygulama başına, IP izin listeli, adlandırılmış bir anahtar.
- Her istekte
max_tokens. - Her ajanda adım sınırı, yeniden deneme sınırı ve tekrarlanan çağrı tespiti.
- Her çağrıdan önce kontrol edilen, iş başına birikmiş maliyet.
- Eşiklerinize göre alarmlı, istek başına token kaydı.
- Kullanımın sürekli olduğu veya anahtarın açıkta kaldığı her yerde sabit plan ya da saatlik anahtar.
BroadNet Inference nereye oturuyor
BroadNet size hesap ve anahtar katmanlarını verir: ön ödemeli bakiye, ayrı anahtarlar, saniyeler içinde iptal edilebilen IP izin listeleri, sabit fiyatlı planlar ve saatlik anahtarlar. Bu yazıdaki iş düzeyi bütçeleri sağlamaz; onlar kodunuzda veya proxy’nizde yer alır. Birçok sağlayıcıda ekip başına bütçelere ihtiyacınız varsa, hepsinin önüne konan bir ağ geçidi doğru araçtır. Fiyatları okuyun.
