Bir ajanın gönderdiklerinin çoğu her turda aynıdır. İstem önbelleğe alma (prompt caching), sağlayıcının bu tekrarlanan kısmı yeniden hesaplamadan geçmesini ve daha ucuza faturalandırmasını sağlar.
Nasıl çalışır
Bir model istemi okurken her token için iç durum hesaplar. Sağlayıcı bu durumu kısa bir süre saklayabilir. Bir sonraki istek aynı token’larla başlarsa sağlayıcı yeniden hesaplamak yerine saklanan durumu okur. Bu token’lar önbellekli girdi token’larıdır.
Önbellekler istemin başından itibaren eşleşir. OpenAI’nin rehberi, yeniden kullanımın “requires the entire rendered prefix to match” (çeviri: işlenmiş önekin tamamının eşleşmesini gerektirir) olduğunu söyler. İstemin başlarında değişen tek bir karakter, ondan sonraki her şeyi yeni girdi yapar.
Sağlayıcılar ayrıntılarda farklılaşır:
- OpenAI, desteklenen modellerde önbelleğe almayı varsayılan olarak etkinleştirir ve isabetleri kullanım bloğunda bildirir. Daha yeni modelleri için 1.024 token’lık asgari önek uzunluğu belgeler.
- Anthropic, çoğu model için önbellekten okumaları temel girdi fiyatının 0,1 katıyla, önbelleğe yazmaları ise ek ücretle faturalandırır ve kayıtları varsayılan olarak 5 dakika tutar.
Chat Completions biçiminde isabetler usage.prompt_tokens_details.cached_tokens olarak görünür. Önbellek oranı, bu sayının prompt_tokens değerine bölümüdür.
Neden önemli
Uzun ve tekrarlanan istemlerde faturayı önbellek oranı belirler. Her turda 200.000 token’lık bir depoyu yeniden gönderen bir ajan, önek sabit kaldığı sürece tam girdi fiyatını bir kez, sonrasında önbellekli fiyatı öder. Önbelleğe alma, üretim başlamadan önce daha az iş yapıldığı için uzun istemlerde ilk token’a kadar geçen süreyi de kısaltabilir.
Oranı artırmak için sabit içeriği (sistem istemi, araç tanımları, belgeler) başa, değişen içeriği sona koyun. Zaman damgalarını ve istek kimliklerini istemin başından uzak tutun, araç listelerini sabit bir sırada tutun. Sağlayıcıların yayımlanan fiyatlarından ne kadarının önbellekli girdi fiyatı içerdiği ve tipik indirim LLM API fiyat endeksinde.
BroadNet Inference’ta
BroadNet üç sohbet modeli için 1M token başına önbellekli girdi fiyatı yayımlar:
| Model | Yeni girdi | Önbellekli girdi |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
Önbellekli token’lar otomatik olarak düşük fiyatla faturalandırılır ve model bildirdiğinde prompt_tokens_details.cached_tokens alanında görünür. Akışta, akış rehberinde gösterildiği gibi kullanım bilgisini stream_options ile isteyin.
Sabit fiyatlı bir planda token sayacı yoktur; bu yüzden önbellek oranı faturayı değiştirmez. Oranınızı kaydetmeye yarayan kodla birlikte ayrıntılı anlatım önbellekli girdi token’ları açıklaması yazısında.