BroadRouter

Önbellekli girdi token'ları (cached input tokens)

Güncellendi

Önbellekli girdi token'ları, bir LLM sağlayıcısının kısa süre önce işlediği ve yeniden hesaplamak yerine önbellekten kullanabildiği istem token'larıdır; genellikle sistem istemi veya belge gibi tekrarlanan bir önektir. Sağlayıcılar bunları yeni girdi token'larından daha düşük ücretle faturalandırır.

Diğer adları: önbelleğe alınmış token, önbellekli token, istem önbelleğe alma, önbellek isabeti, prompt caching, cache hits, cached tokens, context caching, cache read tokens

Bir ajanın gönderdiklerinin çoğu her turda aynıdır. İstem önbelleğe alma (prompt caching), sağlayıcının bu tekrarlanan kısmı yeniden hesaplamadan geçmesini ve daha ucuza faturalandırmasını sağlar.

Nasıl çalışır

Bir model istemi okurken her token için iç durum hesaplar. Sağlayıcı bu durumu kısa bir süre saklayabilir. Bir sonraki istek aynı token’larla başlarsa sağlayıcı yeniden hesaplamak yerine saklanan durumu okur. Bu token’lar önbellekli girdi token’larıdır.

Önbellekler istemin başından itibaren eşleşir. OpenAI’nin rehberi, yeniden kullanımın “requires the entire rendered prefix to match” (çeviri: işlenmiş önekin tamamının eşleşmesini gerektirir) olduğunu söyler. İstemin başlarında değişen tek bir karakter, ondan sonraki her şeyi yeni girdi yapar.

Sağlayıcılar ayrıntılarda farklılaşır:

  • OpenAI, desteklenen modellerde önbelleğe almayı varsayılan olarak etkinleştirir ve isabetleri kullanım bloğunda bildirir. Daha yeni modelleri için 1.024 token’lık asgari önek uzunluğu belgeler.
  • Anthropic, çoğu model için önbellekten okumaları temel girdi fiyatının 0,1 katıyla, önbelleğe yazmaları ise ek ücretle faturalandırır ve kayıtları varsayılan olarak 5 dakika tutar.

Chat Completions biçiminde isabetler usage.prompt_tokens_details.cached_tokens olarak görünür. Önbellek oranı, bu sayının prompt_tokens değerine bölümüdür.

Neden önemli

Uzun ve tekrarlanan istemlerde faturayı önbellek oranı belirler. Her turda 200.000 token’lık bir depoyu yeniden gönderen bir ajan, önek sabit kaldığı sürece tam girdi fiyatını bir kez, sonrasında önbellekli fiyatı öder. Önbelleğe alma, üretim başlamadan önce daha az iş yapıldığı için uzun istemlerde ilk token’a kadar geçen süreyi de kısaltabilir.

Oranı artırmak için sabit içeriği (sistem istemi, araç tanımları, belgeler) başa, değişen içeriği sona koyun. Zaman damgalarını ve istek kimliklerini istemin başından uzak tutun, araç listelerini sabit bir sırada tutun. Sağlayıcıların yayımlanan fiyatlarından ne kadarının önbellekli girdi fiyatı içerdiği ve tipik indirim LLM API fiyat endeksinde.

BroadNet Inference’ta

BroadNet üç sohbet modeli için 1M token başına önbellekli girdi fiyatı yayımlar:

Model Yeni girdi Önbellekli girdi
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

Önbellekli token’lar otomatik olarak düşük fiyatla faturalandırılır ve model bildirdiğinde prompt_tokens_details.cached_tokens alanında görünür. Akışta, akış rehberinde gösterildiği gibi kullanım bilgisini stream_options ile isteyin.

Sabit fiyatlı bir planda token sayacı yoktur; bu yüzden önbellek oranı faturayı değiştirmez. Oranınızı kaydetmeye yarayan kodla birlikte ayrıntılı anlatım önbellekli girdi token’ları açıklaması yazısında.

Sık sorulan sorular

Önbellekli token'lar bağlam penceresine yine de sayılır mı?

Evet. Önbelleğe alma, bu token'lar için ne ödediğinizi değiştirir, sayılıp sayılmadıklarını değil. Anthropic'in belgeleri bunu açıkça belirtir.

Önbellek ne kadar süre kalır?

Sağlayıcıya bağlıdır. Anthropic'in varsayılan ömrü 5 dakikadır ve önbellek her kullanıldığında yenilenir; isteğe bağlı 1 saatlik ömür de vardır. Diğer sağlayıcılar her zaman sabit bir süre yayımlamaz; isabet oranınızı ölçün.

Önbelleğe alma yanıtı değiştirir mi?

Hayır. Önbellek, yanıtı değil, istem üzerinde yapılan işi saklar. Model yine yeni bir yanıt üretir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor