Bir ajanın LLM’e gönderdiklerinin çoğu her turda aynıdır: sistem istemi, araç tanımları, üzerinde çalıştığı dosyalar ve o ana kadarki konuşma. Yalnızca son mesaj yenidir. İstem önbellekleme, sağlayıcının bu tekrarlanan kısmı tam fiyatla faturalandırmaması demektir.
Önbellekli girdi tokenı nedir?
Her istek girdi ve çıktı tokenlarından oluşur. Model yanıt vermeden önce istemin tamamını işler. Daha önceki bir istek tam olarak aynı tokenlarla başladıysa, sunum sistemi bu işi yeniden yapmak yerine tekrar kullanabilir. Yeniden kullanılan kısım önbellekli girdi tokenları olarak raporlanır ve daha düşük bir ücretle faturalandırılır.
Bu işleyişten iki sonuç çıkar:
- Yalnızca önek önbelleğe alınır. Eşleşme ilk tokendan ileriye doğru ilerler ve ilk farkta durur.
- Yanıt asla önbelleğe alınmaz. Model yine yeni çıktı üretir ve bu, tam çıktı fiyatıyla faturalandırılır.
BroadNet Inference’ta önbellekli tokenlar ne kadar tutar?
Yayımlanan fiyat dosyasına göre, 1 milyon token başına:
| Model | Yeni girdi | Önbellekli girdi | Çıktı |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
DeepSeek V4.1 Flash’ta fark büyüktür: 1M önbellekli token başına $0.0055 ile 1M yeni token başına $0.175 değerlerini karşılaştırın. Her turda 200.000 tokenlık bir depoyu yeniden gönderen bir ajan için faturanın büyük kısmını önbellek oranı belirler.
Önbellekleme ne kadar tasarruf sağlar? Örnek hesap
Bir kodlama ajanı, bir iş gününde 200.000 tokenlık bir istemi 100 kez gönderiyor. Bu, günde 20 milyon girdi tokenı eder.
| Önbellek oranı | Yeni girdi tokenları | Önbellekli girdi tokenları |
|---|---|---|
| %0 | 1M başına $0.175 ile 20M | 0 |
| %50 | 1M başına $0.175 ile 10M | 1M başına $0.0055 ile 10M |
| %90 | 1M başına $0.175 ile 2M | 1M başına $0.0055 ile 18M |
Günlük girdi faturasının formülü new tokens (M) × input price + cached tokens (M) × cached price şeklindedir. %90’da 20M girdi tokenının 18M’si tam girdi fiyatı yerine önbellek fiyatıyla faturalandırılır; dolayısıyla iki fiyat arasındaki fark ne kadar büyükse girdi faturasından o kadar çok tasarruf edersiniz. Çıktı değişmez. Kendi sayılarınızı istem önbellekleme hesaplayıcısında deneyin.
Önbellekli tokenları API yanıtında nasıl görürsünüz?
BroadNet’in API referansına göre model raporladığında usage nesnesi prompt_tokens_details.cached_tokens alanını taşır: önbellekten okunan ve önbellek fiyatıyla faturalandırılan istem tokenları. Bir akışta (stream) usage bilgisini son parçada isteyin:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
Bu oranı bir gün boyunca istek başına kaydedin. Gerçekte ne ödediğinizi gösterir ve istem önbellekleme hesaplayıcısına girmeniz gereken sayı odur. Akışta usage hakkında daha fazlası için akış rehberine bakın.
İstem önbellekleme OpenAI, Anthropic ve DeepSeek arasında nasıl farklılaşır?
Önbellekleme standart değildir. 14 Kasım 2026’da eriştiğimizde resmi belgelerin söyledikleri:
| OpenAI | Anthropic | DeepSeek (doğrudan API) | |
|---|---|---|---|
| Açılması | Desteklenen modellerde varsayılan olarak açık | cache_control alanıyla isteğe bağlı (otomatik veya blok başına) |
Tüm kullanıcılar için varsayılan olarak açık |
| En kısa istem | GPT-5.6 ve sonrasında 1.024 token | Modele göre 512 ila 4.096 token | Belirtilen bir alt sınır yok |
| Önbellek ömrü | GPT-5.6 ve sonrasında varsayılan 30 dakika; 12 saatlik seçenek | Varsayılan 5 dakika, ek ücretle 1 saat | En iyi çaba; kullanılmayınca temizlenir, “a few hours to a few days” (BroadRouter çevirisi: “birkaç saatten birkaç güne”) |
| Yazma | GPT-5.6 ve sonrasında girdinin 1,25 katı (30 dakika) veya 2,5 katı (12 saat) | 5 dakika için girdinin 1,25 katı, 1 saat için 2 katı | Yazma ücretinden söz edilmiyor |
| Okuma | GPT-5.6 ve sonrasında girdinin 0,1 katı (GPT-6.1 Sol ve Terra’da 0,05 katı) | Çoğu modelde girdinin 0,1 katı, bazılarında daha düşük | Ayrı bir “cache hit” (önbellek isabeti) fiyatı |
| Usage alanı | Token ayrıntılarında cached_tokens |
cache_read_input_tokens |
prompt_cache_hit_tokens |
Kaynaklar: OpenAI istem önbellekleme rehberi, Anthropic istem önbellekleme belgeleri ve DeepSeek bağlam önbellekleme belgeleri. Yazmanın ek ücretli olduğu yerlerde, yazılıp hiç okunmayan bir önbellek, hiç önbellek olmamasından daha pahalıya gelir. Önbellekleme yalnızca gerçekten tekrarladığınız istemlerde kendini amorti eder. Model bazında liste fiyatlarını karşılaştırmak için LLM API fiyat tablosuna bakın.
Önbellek oranınızı ne düşürür?
Önbellekler birebir aynı öneki eşleştirir; bu yüzden istemin başlarında değişen her şey, geri kalanını yeni hale getirir. Olağan nedenler:
- sistem isteminin üst kısmında bir zaman damgası, istek kimliği veya kullanıcı adı;
- her çağrıda farklı anahtar sırasıyla serileştirilen araç tanımları veya JSON; bu, tokenları değiştirir;
- geçmişine ekleme yapmak yerine onu yeniden yazan veya özetleyen bir ajan;
- önbelleğin süresinin dolduğu uzun duraklamalar.
Çözüm, sabit bir katman sırasıdır (sistem istemi, araçlar, belgeler, geçmiş, yeni mesaj) ve her katman çağrılar arasında bayt bayt aynı kalmalıdır. Önekin önbelleğe alınması için istemler nasıl yapılandırılır rehberimiz bu düzeni kodla ve önekin yeniden kullanıldığını kanıtlayan bir testle adım adım anlatır.
Önbellekleme ne zaman önemini yitirir?
Sabit fiyatlı bir planda fatura tokenlara hiç bağlı değildir. Full Moon, sınırsız DeepSeek V4.1 Flash için oturum başına aylık $60 tutarındadır. Ajanınız başa baş noktasını zaten geçiyorsa önbellek oranı bir maliyet sorunu olmaktan çıkar. Uzun istemlerde yukarıdaki alışkanlıklar hıza yine katkı sağlar, bu yüzden her durumda sürdürmeye değer.
Uzun bağlamda önbellekleme neden daha önemli?
DeepSeek V4.1 Flash ve GLM 5.3, istek başına 1.048.576 tokena kadar kabul eder. Token başına faturalandırılan bir anahtarda çok uzun istemleri karşılanabilir kılan önbelleklemedir, çünkü bağlam penceresinin büyük ve tekrarlanan kısmı önbellek fiyatıyla faturalandırılır. 1M tokenlık bağlam penceresi ne zaman buna değer yazısına bakın.
BroadNet Inference nerede devreye giriyor
BroadNet, önbellek fiyatı olan her sohbet modeli için önbellekli girdi fiyatını yayımlar ve model raporladığında önbellekli tokenları usage içinde gösterir; böylece taahhütte bulunmadan önce oranınızı ölçebilirsiniz. Önbellek ömrünü veya en kısa istem uzunluğunu yayımlamaz; bunları kendi trafiğinizde ölçün. Ajanınız bütün gün çalışıyorsa sabit fiyatlı bir plan bu soruyu tamamen ortadan kaldırır.
