BroadRouter
Başlayın

Önbellekli girdi tokenları: LLM API faturası nasıl düşürülür

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı · Güncellendi

Önbellekli girdi tokenları, sağlayıcının daha önce işlediği ve yeniden kullanabildiği istem tokenlarıdır; bu yüzden daha düşük bir ücretle faturalandırılır. BroadNet Inference'ta DeepSeek V4.1 Flash, önbellekli girdiyi 1M token başına $0.0055, yeni girdiyi ise $0.175 ile faturalandırır. İndirimi almak için her istemin sabit kısmını en başa koyun ve çağrılar arasında aynı tutun.

Bir ajanın LLM’e gönderdiklerinin çoğu her turda aynıdır: sistem istemi, araç tanımları, üzerinde çalıştığı dosyalar ve o ana kadarki konuşma. Yalnızca son mesaj yenidir. İstem önbellekleme, sağlayıcının bu tekrarlanan kısmı tam fiyatla faturalandırmaması demektir.

Önbellekli girdi tokenı nedir?

Her istek girdi ve çıktı tokenlarından oluşur. Model yanıt vermeden önce istemin tamamını işler. Daha önceki bir istek tam olarak aynı tokenlarla başladıysa, sunum sistemi bu işi yeniden yapmak yerine tekrar kullanabilir. Yeniden kullanılan kısım önbellekli girdi tokenları olarak raporlanır ve daha düşük bir ücretle faturalandırılır.

Bu işleyişten iki sonuç çıkar:

  • Yalnızca önek önbelleğe alınır. Eşleşme ilk tokendan ileriye doğru ilerler ve ilk farkta durur.
  • Yanıt asla önbelleğe alınmaz. Model yine yeni çıktı üretir ve bu, tam çıktı fiyatıyla faturalandırılır.

BroadNet Inference’ta önbellekli tokenlar ne kadar tutar?

Yayımlanan fiyat dosyasına göre, 1 milyon token başına:

Model Yeni girdi Önbellekli girdi Çıktı
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

DeepSeek V4.1 Flash’ta fark büyüktür: 1M önbellekli token başına $0.0055 ile 1M yeni token başına $0.175 değerlerini karşılaştırın. Her turda 200.000 tokenlık bir depoyu yeniden gönderen bir ajan için faturanın büyük kısmını önbellek oranı belirler.

Önbellekleme ne kadar tasarruf sağlar? Örnek hesap

Bir kodlama ajanı, bir iş gününde 200.000 tokenlık bir istemi 100 kez gönderiyor. Bu, günde 20 milyon girdi tokenı eder.

Önbellek oranı Yeni girdi tokenları Önbellekli girdi tokenları
%0 1M başına $0.175 ile 20M 0
%50 1M başına $0.175 ile 10M 1M başına $0.0055 ile 10M
%90 1M başına $0.175 ile 2M 1M başına $0.0055 ile 18M

Günlük girdi faturasının formülü new tokens (M) × input price + cached tokens (M) × cached price şeklindedir. %90’da 20M girdi tokenının 18M’si tam girdi fiyatı yerine önbellek fiyatıyla faturalandırılır; dolayısıyla iki fiyat arasındaki fark ne kadar büyükse girdi faturasından o kadar çok tasarruf edersiniz. Çıktı değişmez. Kendi sayılarınızı istem önbellekleme hesaplayıcısında deneyin.

Önbellekli tokenları API yanıtında nasıl görürsünüz?

BroadNet’in API referansına göre model raporladığında usage nesnesi prompt_tokens_details.cached_tokens alanını taşır: önbellekten okunan ve önbellek fiyatıyla faturalandırılan istem tokenları. Bir akışta (stream) usage bilgisini son parçada isteyin:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

Bu oranı bir gün boyunca istek başına kaydedin. Gerçekte ne ödediğinizi gösterir ve istem önbellekleme hesaplayıcısına girmeniz gereken sayı odur. Akışta usage hakkında daha fazlası için akış rehberine bakın.

İstem önbellekleme OpenAI, Anthropic ve DeepSeek arasında nasıl farklılaşır?

Önbellekleme standart değildir. 14 Kasım 2026’da eriştiğimizde resmi belgelerin söyledikleri:

OpenAI Anthropic DeepSeek (doğrudan API)
Açılması Desteklenen modellerde varsayılan olarak açık cache_control alanıyla isteğe bağlı (otomatik veya blok başına) Tüm kullanıcılar için varsayılan olarak açık
En kısa istem GPT-5.6 ve sonrasında 1.024 token Modele göre 512 ila 4.096 token Belirtilen bir alt sınır yok
Önbellek ömrü GPT-5.6 ve sonrasında varsayılan 30 dakika; 12 saatlik seçenek Varsayılan 5 dakika, ek ücretle 1 saat En iyi çaba; kullanılmayınca temizlenir, “a few hours to a few days” (BroadRouter çevirisi: “birkaç saatten birkaç güne”)
Yazma GPT-5.6 ve sonrasında girdinin 1,25 katı (30 dakika) veya 2,5 katı (12 saat) 5 dakika için girdinin 1,25 katı, 1 saat için 2 katı Yazma ücretinden söz edilmiyor
Okuma GPT-5.6 ve sonrasında girdinin 0,1 katı (GPT-6.1 Sol ve Terra’da 0,05 katı) Çoğu modelde girdinin 0,1 katı, bazılarında daha düşük Ayrı bir “cache hit” (önbellek isabeti) fiyatı
Usage alanı Token ayrıntılarında cached_tokens cache_read_input_tokens prompt_cache_hit_tokens

Kaynaklar: OpenAI istem önbellekleme rehberi, Anthropic istem önbellekleme belgeleri ve DeepSeek bağlam önbellekleme belgeleri. Yazmanın ek ücretli olduğu yerlerde, yazılıp hiç okunmayan bir önbellek, hiç önbellek olmamasından daha pahalıya gelir. Önbellekleme yalnızca gerçekten tekrarladığınız istemlerde kendini amorti eder. Model bazında liste fiyatlarını karşılaştırmak için LLM API fiyat tablosuna bakın.

Önbellek oranınızı ne düşürür?

Önbellekler birebir aynı öneki eşleştirir; bu yüzden istemin başlarında değişen her şey, geri kalanını yeni hale getirir. Olağan nedenler:

  • sistem isteminin üst kısmında bir zaman damgası, istek kimliği veya kullanıcı adı;
  • her çağrıda farklı anahtar sırasıyla serileştirilen araç tanımları veya JSON; bu, tokenları değiştirir;
  • geçmişine ekleme yapmak yerine onu yeniden yazan veya özetleyen bir ajan;
  • önbelleğin süresinin dolduğu uzun duraklamalar.

Çözüm, sabit bir katman sırasıdır (sistem istemi, araçlar, belgeler, geçmiş, yeni mesaj) ve her katman çağrılar arasında bayt bayt aynı kalmalıdır. Önekin önbelleğe alınması için istemler nasıl yapılandırılır rehberimiz bu düzeni kodla ve önekin yeniden kullanıldığını kanıtlayan bir testle adım adım anlatır.

Önbellekleme ne zaman önemini yitirir?

Sabit fiyatlı bir planda fatura tokenlara hiç bağlı değildir. Full Moon, sınırsız DeepSeek V4.1 Flash için oturum başına aylık $60 tutarındadır. Ajanınız başa baş noktasını zaten geçiyorsa önbellek oranı bir maliyet sorunu olmaktan çıkar. Uzun istemlerde yukarıdaki alışkanlıklar hıza yine katkı sağlar, bu yüzden her durumda sürdürmeye değer.

Uzun bağlamda önbellekleme neden daha önemli?

DeepSeek V4.1 Flash ve GLM 5.3, istek başına 1.048.576 tokena kadar kabul eder. Token başına faturalandırılan bir anahtarda çok uzun istemleri karşılanabilir kılan önbelleklemedir, çünkü bağlam penceresinin büyük ve tekrarlanan kısmı önbellek fiyatıyla faturalandırılır. 1M tokenlık bağlam penceresi ne zaman buna değer yazısına bakın.

BroadNet Inference nerede devreye giriyor

BroadNet, önbellek fiyatı olan her sohbet modeli için önbellekli girdi fiyatını yayımlar ve model raporladığında önbellekli tokenları usage içinde gösterir; böylece taahhütte bulunmadan önce oranınızı ölçebilirsiniz. Önbellek ömrünü veya en kısa istem uzunluğunu yayımlamaz; bunları kendi trafiğinizde ölçün. Ajanınız bütün gün çalışıyorsa sabit fiyatlı bir plan bu soruyu tamamen ortadan kaldırır.

Sık sorulan sorular

İstem önbelleklemeyi açmam gerekiyor mu?

Sağlayıcıya bağlı. OpenAI ve DeepSeek otomatik önbelleğe alır; Anthropic ise cache_control alanı ister. BroadNet Inference'ta usage bloğuna bakın: model önbellekli tokenları raporladığında bunlar prompt_tokens_details.cached_tokens olarak görünür ve önbellekli girdi fiyatıyla faturalandırılır.

İstem önbelleklemenin çalışıp çalışmadığını nasıl anlarım?

Her istekte usage bilgisini isteyin ve cached_tokens değerini prompt_tokens değerine bölün. Uzun ve tekrarlanan bir istemin ikinci çağrısında oran sıfıra yakınsa, istemin başlarındaki bir şey çağrılar arasında değişiyor demektir.

Önbellek oranım neden düşük?

Genellikle istemin başlarındaki bir şey her çağrıda değiştiği için; örneğin bir zaman damgası, bir istek kimliği veya sırası değişen bir araç listesi. Değişen içeriği sona taşıyın.

İstem önbellekleme ile yanıt önbellekleme arasındaki fark nedir?

İstem önbellekleme, sağlayıcının tekrarlanan bir istem öneki üzerinde yaptığı işi yeniden kullanır; model yine de yeni bir yanıt yazar. Yanıt önbellekleme ise kendinizin kurduğu bir şeydir; yanıtların tamamını saklar ve aynı sorular için modeli çağırmadan döndürür.

Önbellekli tokenlar ücretsiz mi?

Hayır. Sıfırla değil, daha düşük bir ücretle faturalandırılırlar. DeepSeek V4.1 Flash'ta önbellekli girdi 1M token başına $0.0055 tutar, çıktı ise tam fiyatla faturalandırılır.

Sınırsız bir planda önbellekleme önemli mi?

Fatura açısından hayır, çünkü plan oturumlarında token sayacı yoktur. Yine de birçok sunum sisteminde uzun istemlerde ilk tokenın gelme süresini kısaltır; bu yüzden aynı alışkanlıklar işe yarar.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor