BroadRouter

LLM API yanıtlarını önbelleğe alıp maliyeti düşürün: Python örneği

BroadNet Inference ekibi · 8 dk okuma · Yayımlandı

İsteğin tamamını (model, mesajlar, temperature, max_tokens, response_format, araçlar, akıl yürütme ayarları ve istem sürümünüz) bir anahtara hash'leyin ve yanıtı bu anahtar altında bir son kullanma süresiyle saklayın. Saklanan yanıtı yalnızca deterministik ve yan etkisiz isteklerde sunun. Önce kayıtlarınızda birebir aynı isteklerin ne sıklıkla tekrarlandığını ölçün: bu pay, birebir önbelleğin kazandırabileceği en fazla tutardır.

İki kez gönderdiğiniz birebir aynı her LLM isteği için iki kez ödersiniz. Bir yanıt önbelleği yanıtı ilk seferde saklar ve sonraki seferde döndürür; faturalanan token yoktur, bekleme de yoktur. Fikir basittir. Zor kısımlar şunlardır: iki isteği neyin “birebir aynı” yaptığına, hangi isteklerin asla depodan sunulmaması gerektiğine ve trafiğinizin önemli olacak kadar tekrar edip etmediğine karar vermek.

Bu yazı Python’da SQLite üzerinde, sahte bir OpenAI uyumlu sunucuya karşı test edilmiş küçük bir birebir eşleşmeli önbellek kuruyor ve tek satır yazmadan önce isabet oranını kayıtlarınızdan nasıl ölçeceğinizi gösteriyor.

Yanıt önbellekleme, istem önbelleklemeyle aynı şey mi?

Hayır. Farklı şeyleri kurtarırlar ve ikisini birlikte kullanabilirsiniz.

İstem önbellekleme (sağlayıcı) Yanıt önbellekleme (siz)
Yeniden kullanılan İstemin tekrarlanan başlangıcı Yanıtın tamamı
Kim çalıştırır API sağlayıcısı Sizin kodunuz
Model yine çalışır mı? Evet, yeni bir yanıt yazar Hayır
Ne kurtarır Girdi maliyetinin bir kısmını Girdi, çıktı ve akıl yürütme token’larını, artı gecikmeyi
Ne zaman isabet eder Ortak önek, farklı sorular Tamamen aynı istek

Sağlayıcı tarafını önbellekli girdi token’ları açıklıyor; önekin yeniden kullanılması için istemin nasıl düzenleneceğini ise önbellekleme için istem yapısı gösteriyor. İstem önbellekleme hesaplayıcısı bunu fiyatlandırır. Yanıt önbelleği bunların hepsinin önünde durur: isabet olduğunda sunucunuzdan hiçbir istek çıkmaz.

Önbellek gerçekten para kazandırır mı?

Kurmadan önce ölçün. Birçok önbellekleme eğitimindeki maliyet tasarrufu yüzdeleri başka birinin trafiğinden gelir. Sizin rakamınız tek bir şeye bağlıdır: aynı isteğin son kullanma süreniz içinde ne sıklıkla yeniden geldiği.

Her çağrıyı zaten LLM API kullanım kaydı yazısındaki gibi kaydediyorsanız, bir alan ekleyin: request_hash, yani aşağıda anlatılan önbellek anahtarı. Hiç istem metni saklamaz; bu yüzden içeriği dışarıda tutan bir kayda uyar. Ardından tekrarları sayın:

import json
from collections import Counter

def potential_hit_rate(log_path: str) -> float:
    """Share of calls whose request_hash was already seen: an upper bound for an exact cache."""
    hashes = [json.loads(line)["request_hash"] for line in open(log_path)]
    seen, repeats = set(), 0
    for h in hashes:
        repeats += h in seen
        seen.add(h)
    print("top repeated requests:", Counter(hashes).most_common(3))
    return repeats / len(hashes) if hashes else 0.0

print(f"potential hit rate: {potential_hit_rate('calls.jsonl'):.1%}")

Biri beş kez, diğeri üç kez tekrarlanan ve on ikisi benzersiz olan 20 çağrılık sentetik bir kayıtta betik %30,0’lık potansiyel isabet oranı yazdırdı. Bu bir üst sınırdır: son kullanma süresini yok sayar ve her tekrarın depodan güvenle sunulabileceğini varsayar.

Ardından oranı paraya çevirin:

monthly saving = hit rate × requests per month
                 × (input tokens × input price + output tokens × output price) ÷ 1,000,000

Yani: aylık tasarruf = isabet oranı × aylık istek sayısı × (girdi token’ı × girdi fiyatı + çıktı token’ı × çıktı fiyatı) ÷ 1.000.000.

Çıktı token’ları akıl yürütmeyi içerir. BroadNet belgeleri DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B’nin yanıtlamadan önce akıl yürüttüğünü ve akıl yürütmenin max_tokens içinde sayıldığını söyler; yani bir isabet, yanıtta hiç görmediğiniz token’ları da kurtarır. Yanıtın uzunluğunu değil, kaydedilmiş usage içindeki completion_tokens değerini alın.

Token cinsinden bir örnek: her biri 1.200 girdi ve 150 çıktı token’lık ayda 100.000 istek, %30 isabet oranıyla 36 milyon girdi ve 4,5 milyon çıktı token’ından kaçınır. DeepSeek V4.1 Flash üzerinde bunlar 1M başına sırasıyla $0.175 ve $0.52 ile faturalandırılır; kendi rakamlarınızı LLM API maliyet hesaplayıcısına girin. Bu girdinin çoğu zaten sağlayıcı önbelleğinde isabet ediyorduysa, girdi tasarrufu daha düşük önbellekli ücretten hesaplanır (aynı modelde 1M başına $0.0055); bu yüzden çoğu zaman önemli olan çıktı tarafıdır.

Önbellek anahtarına neler girer?

Yanıtı değiştirebilecek her şey, başka hiçbir şey değil.

  • Dahil edin: model, tam messages listesi (sistem istemi dahil), temperature, top_p, max_tokens, seed, response_format, tools, tool_choice ve reasoning_effort.
  • Kontrolünüzde bir istem sürümü ekleyin, örneğin faq-v3. İstek gövdesinde görünmeyen istem şablonlarını, getirme verilerini veya son işlemeyi değiştirdiğinizde sürümü artırın.
  • Dışarıda bırakın: yanıtı değiştirmeden çağrıdan çağrıya değişen her şeyi: istek kimlikleri, zaman damgaları, izleme başlıkları, yalnızca kötüye kullanım takibi için gönderdiğiniz bir user alanı.

Anahtar materyalini her seferinde aynı şekilde serileştirin. Python’un json.dumps fonksiyonu sort_keys=True ve separators=(",", ":") ile, sözlük sırasından bağımsız tek bir kanonik dize verir; ensure_ascii=False ise Arapça ve Latin olmayan diğer metinleri kaçış dizileri yerine UTF-8 olarak tutar. Bunu SHA-256 ile hash’leyin.

Tehlikeli hata, eksik bir alandır. max_tokens anahtarda yoksa, küçük bir limitte kesilmiş bir yanıt, uzun bir yanıta izin veren bir isteğe sunulur.

Önbellek: SQLite, TTL ve bir atlama politikası

import hashlib, json, sqlite3, time

# Every field that changes the answer belongs in the key.
KEY_FIELDS = ("model", "messages", "temperature", "top_p", "max_tokens", "seed",
              "response_format", "tools", "tool_choice", "reasoning_effort")

def cache_key(params: dict, prompt_version: str) -> str:
    material = {k: params[k] for k in KEY_FIELDS if k in params}
    material["prompt_version"] = prompt_version
    canon = json.dumps(material, sort_keys=True, separators=(",", ":"), ensure_ascii=False)
    return hashlib.sha256(canon.encode("utf-8")).hexdigest()

class ResponseCache:
    def __init__(self, path="llm_cache.sqlite", ttl_s=7 * 86400):
        self.db, self.ttl = sqlite3.connect(path), ttl_s
        self.db.execute("CREATE TABLE IF NOT EXISTS cache (k TEXT PRIMARY KEY, created REAL,"
                        " body TEXT, prompt_tokens INT, completion_tokens INT)")
        self.hits = self.misses = self.skips = self.saved_in = self.saved_out = 0

    def create(self, client, prompt_version: str, **params):
        if params.get("stream") or params.get("temperature", 1) > 0:
            self.skips += 1                       # not cacheable: call the model directly
            return client.chat.completions.create(**params)
        k = cache_key(params, prompt_version)
        row = self.db.execute("SELECT body, created, prompt_tokens, completion_tokens"
                              " FROM cache WHERE k = ?", (k,)).fetchone()
        if row and time.time() - row[1] < self.ttl:
            self.hits += 1; self.saved_in += row[2]; self.saved_out += row[3]
            return json.loads(row[0])             # a plain dict, not an SDK object
        self.misses += 1
        r = client.chat.completions.create(**params)
        choice = r.choices[0]
        if choice.finish_reason == "stop" and not choice.message.tool_calls:
            self.db.execute("INSERT OR REPLACE INTO cache VALUES (?, ?, ?, ?, ?)",
                            (k, time.time(), r.model_dump_json(),
                             r.usage.prompt_tokens, r.usage.completion_tokens))
            self.db.commit()
        return r.model_dump()

Ve bunun üzerinde bir çalıştırma:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
cache = ResponseCache("demo.sqlite", ttl_s=86400)
SYSTEM = {"role": "system", "content": "Answer questions about our refund policy in one sentence."}
questions = ["How long do refunds take?", "Can I refund a gift card?",
             "How long do refunds take?", "How long do refunds take?", "Can I refund a gift card?"]
for q in questions:
    r = cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0,
                     max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": q}])
    print(r["choices"][0]["message"]["content"])
# a personalised, sampled request is never cached
cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0.7,
             messages=[SYSTEM, {"role": "user", "content": "Write me a friendly reminder"}])
# a new prompt version is a new key
cache.create(client, "faq-v4", model="broadnet/deepseek-v4.1-flash", temperature=0,
             max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": "How long do refunds take?"}])
print(f"hits={cache.hits} misses={cache.misses} skipped={cache.skips} "
      f"saved_input={cache.saved_in} saved_output={cache.saved_out}")

Bunu OpenAI Python SDK 3.51.0 ile, üst akış çağrılarını sayan ve yanıt başına 1.200 istem ve 150 completion token’ı raporlayan yerel bir sahte sunucuya karşı çalıştırdık (canlı API çağrısı yok). Yedi istek dört üst akış çağrısı yaptı. Betik hits=3 misses=3 skipped=1 saved_input=3600 saved_output=450 yazdırdı. Aynı veritabanı dosyası üzerinde yeniden çalıştırıldığında, önbelleğe alınabilir altı isteğin hepsi isabet etti (hits=6 misses=0): SQLite önbelleği yeniden başlatmalar arasında korur. Aynı alanlardan farklı sırayla oluşturulan anahtarlar eşleşti.

Kodla ilgili notlar:

  • max_tokens=1200 yanıttan önce akıl yürütmeye yer bırakır. Küçük bir limitle, akıl yürüten bir model boş yanıt döndürebilir (neden). Bu yanıtlar saklanmaz, çünkü finish_reason değeri stop değil length olur.
  • İsabetler bir dict döndürür. Iskalar da model_dump() döndürür; böylece çağıranlar tek bir biçim görür. Kodunuz SDK nesneleri bekliyorsa ikisini de sarmalayın.
  • Eksik bir temperature örneklemeli sayılır. Bu durumda sunucu kendi varsayılanını uygular, bu da 0’ın üzerinde olabilir; bu yüzden siz açıkça 0 ayarlamadıkça sarmalayıcı önbelleğe almayı atlar.
  • SQLite tek veya birkaç süreç için uygundur. Birden çok sunucu için aynı anahtar ve TTL mantığını Redis’e veya veritabanınıza koyun.

Neler asla önbellekten sunulmamalı?

  • Örneklemeli yanıtlar (temperature 0’ın üzerinde). Çeşitliliği siz seçtiniz. Önbellek onu ortadan kaldırır ve “yeniden üret” düğmesine basan kullanıcı aynı metni alır.
  • Kişiselleştirilmiş yanıtlar, kullanıcı kimliği anahtarda olmadıkça. “Hesabımı özetle” diyen iki kullanıcının hesapları farklıdır. Daha iyisi: yalnızca mesajlarında kullanıcıya özgü veri olmayan istekleri önbelleğe alın.
  • Araç çağrıları. Bir araç çağrısı harekete geçme talimatıdır. “1182 numaralı siparişi iade et” talimatını depodan yeniden oynatmak bir yan etkiyi tekrarlayabilir; doğru sonraki adım da mevcut duruma bağlıdır. Sarmalayıcı tool_calls içeren hiçbir yanıtı saklamaz.
  • Akışla gelen yanıtlar. Sarmalayıcı stream=True için önbelleği atlar. Bir akışı önbelleğe almak, onu tamponlamak, bittiğini kontrol etmek ve yeniden oynatmak demektir; sohbet arayüzleri için buna nadiren değer.
  • Kesilmiş veya başarısız yanıtlar. Yalnızca finish_reason == "stop" olanları saklayın. Bir hafta önbellekte kalan yarım bir yanıt veya hata, model sorunu gibi görünen bir hatadır.
  • Zamana bağlı yanıtlar. “Bugünkü döviz kuru nedir?” kısa bir TTL gerektirir ya da hiç önbellek gerektirmez.

İyi önbelleklenenler: sabit bir girdi kümesinin sınıflandırılması, yeniden işlediğiniz belgelerden çıkarım, sabit bir istemden SSS yanıtları, yeniden çalıştırdığınız test paketleri ve değerlendirmeler, aynı isteği tekrar tekrar gönderdiğiniz geliştirme döngüleri.

Önbelleklenmiş yanıtların süresi ne zaman dolmalı?

Üç tür geçersiz kılma kullanın:

  1. TTL. Girdi başına süre sınırı: sabit SSS yanıtları için günler, canlı veri okuyan her şey için dakikalar.
  2. Anahtarda sürüm. Sistem istemi, getirme dizini veya çıktı şeması değiştiğinde istem sürümünü değiştirin. Eski girdiler eşleşmeyi bırakır ve zamanla silinir.
  3. Anahtarda model. Zaten orada; bu yüzden bir modelden diğerine geçmek yeni bir önbellek başlatır; bir geçişi değerlendirirken istediğiniz de budur.

Süresi dolmuş satırları düzenli aralıklarla silin (DELETE FROM cache WHERE created < ?). Yoksa dosya yalnızca büyür.

Bir yan faydası da var. Sunum motorları aynı girdi için aynı çıktıyı vaat etmez: vLLM belgeleri “does not guarantee the reproducibility of the results by default” (BroadRouter çevirisi: varsayılan olarak sonuçların yeniden üretilebilirliğini garanti etmez) der. Önbellek, girdinin ömrü boyunca aynı soruya her kullanıcıya aynı yanıtı verir.

Anlamsal önbellekleme ne olacak?

Anlamsal önbellek her soruyu embedding’e çevirir ve yeni bir soru yeterince yakın olduğunda saklanan bir yanıtı döndürür; böylece “iade ne kadar sürer?” sorusu “iadeler ne kadar sürüyor?” sorusuna isabet edebilir. En bilinen açık kaynak örnek GPTCache’tir. README dosyası benzerlik araması için bir vektör deposu ve isabete karar vermek için bir benzerlik değerlendiricisi kullandığını söyler, “you may encounter false positives during cache hits and false negatives during cache misses” (BroadRouter çevirisi: önbellek isabetlerinde yanlış pozitiflerle, ıskalarda ise yanlış negatiflerle karşılaşabilirsiniz) diye uyarır ve embedding’leri devre dışı bırakmanın onu anahtar kelime eşleyen bir önbelleğe dönüştürdüğünü belirtir.

İki pratik nokta. Birincisi, bir embedding modeli ve bir vektör deposu gerektirir. BroadNet Inference embedding sunmaz; bu katman için başka bir sağlayıcı veya yerel bir model kullanırsınız; seçenekleri embedding maliyet hesaplayıcısı fiyatlandırır. İkincisi, yanlış bir isabet, farklı bir soruya kendinden emin bir yanıt döndürür. Katı bir benzerlik eşiği kullanın, gerçek “kıl payı” çiftleri üzerinde test edin ve anlamsal önbelleği riskin düşük olduğu yanıtlara saklayın. Her durumda birebir önbelleği öne koyun: kontrol etmesi bedavadır ve ne sorulduğu konusunda asla yanılmaz.

Önbellek gizlilik açısından ne anlama gelir?

Önbellek, istemlerin ve yanıtların deposudur. Bu, verilerinizin yaşadığı yeri değiştirir.

BroadNet’in 2026-11-15’te kontrol edilen çıkarım gizlilik beyanı, ağ geçidinin hiçbir istem, mesaj, yanıt veya transkript tutmadığını, buna karşılık içerik barındırmayan trafik ve kullanım kayıtlarının (token sayıları, maliyet, zamanlamalar) saklandığını söyler. Çıkarım içeriği saklanmaz. Gerekli hesap, faturalandırma ve güvenlik meta verileri beyanda anlatıldığı şekilde saklanır. Bir yanıt önbelleği eklediğiniz anda, sağlayıcının tutmadığı içeriği sisteminiz tutmaya başlar. Ona diğer kullanıcı verisi depoları gibi davranın:

  • Mümkün olduğunda yalnızca kişisel veri içermeyen istekleri önbelleğe alın; bu isabet oranını da artırır.
  • Saklama politikanıza yetecek kadar kısa bir TTL belirleyin ve düzenli olarak silin.
  • Dosyayı veya tabloyu durağan halde şifreleyin ve kimlerin okuyabileceğini sınırlayın.
  • Kullanıcı metni tutabiliyorsa, önbelleği veri silme taleplerinin kapsamına alın.

Bu kontrol listesinin geri kalanını bir LLM API’sine hassas veri göndermek yazısı ele alıyor.

Önbellekleme diğer maliyet kontrolleriyle nasıl bir arada çalışır?

Önbellekleme tekrarlanan çağrıları ortadan kaldırır. Benzersiz olanlar için hiçbir şey yapmaz; bu yüzden diğer kontrollerin yerini almaz, yanlarında durur: daha kısa istemler, sağlayıcının istem önbellekleme özelliği, istek başına bir max_tokens sınırı ve LLM API harcama kontrolündeki bütçeler ile döngü sınırları. Büyük tek seferlik işlerde girdileri göndermeden önce tekilleştirin; bu da bir önbellekle aynı fikirdir, yalnızca bir kez yapılır. İş tarafını Batch API olmadan büyük bir işi işlemek yazısı gösteriyor.

Sabit fiyatlı bir planda hesap değişir. BroadNet’in DeepSeek oturumlarında token sayacı yoktur; bu yüzden orada bir önbellek isabeti para kazandırmaz. Yine de zaman kazandırır: bir oturum aynı anda tek istek çalıştırır, dolayısıyla atladığınız her tekrar oturumu yeni işe açar.

BroadNet Inference nereye oturuyor

BroadRouter, BroadNet’in kendi sitesidir. BroadNet Inference; DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B ve Gemma 4 VL 26B’yi OpenAI uyumlu bir /v1/chat/completions uç noktası arkasında sunar; bu yüzden yukarıdaki sarmalayıcı, temel URL değiştirilerek OpenAI Python SDK ile çalışır. Kendine ait bir yanıt önbellekleme özelliği yoktur; bu yazıdaki önbellek sizindir. API referansına göre sağlayıcı tarafındaki önbellek isabetleri usage.prompt_tokens_details.cached_tokens içinde raporlanır ve önbellekli girdi fiyatıyla faturalandırılır. Model başına fiyatlar fiyat sayfasında.

Sık sorulan sorular

İstem önbellekleme ile yanıt önbellekleme arasındaki fark nedir?

İstem önbelleklemeyi sağlayıcı yapar: tekrarlanan bir istem öneki daha düşük önbellekli girdi fiyatıyla faturalandırılır ve model yine yeni bir yanıt yazar. Yanıt önbelleklemeyi ise siz yaparsınız: yanıtın tamamını saklar ve birebir aynı bir istek için modeli hiç çağırmadan döndürürsünüz.

Temperature 0'da LLM yanıtlarını önbelleğe almalı mıyım?

İsteğin yan etkisi yoksa ve aynı yanıt onu gönderen herkes için kabul edilebilirse, evet. Temperature 0 zaten bir sunum motorundan birebir aynı çıktıyı garanti etmez; bu yüzden önbellek yanıtı tutarlı da kılar. Temperature 0'ın üzerindeyse veya belirtilmemişse önbelleğe almayın.

LLM yanıt önbellekleme ne kadar tasarruf sağlar?

Son kullanma süreniz içinde birebir tekrar olan isteklerin payı çarpı bu isteklerin maliyeti kadar. Bu payı bulmak için kendi kayıtlarınızda tekrarlanan istek hash'lerini sayın. Serbest sohbette sıfıra yakın, sabit SSS veya sınıflandırma girdilerinde yüksek olabilir.

Anlamsal önbellekleme, birebir eşleşmeli önbellekten daha mı iyi?

Benzer sorular eşleştiği için daha sık isabet eder, ama farklı bir soruya ait yanıtı döndürebilir. Ayrıca bir embedding modeli ve bir vektör deposu gerektirir. Birebir önbellekle başlayın; anlamsal katmanı yalnızca yanlış bir isabetin ucuz olduğu yerlerde ekleyin.

Akışla gelen yanıtları önbelleğe alabilir miyim?

Buradaki basit sarmalayıcıyla hayır. Akışın tamamını toplamanız, normal bittiğini kontrol etmeniz, saklamanız ve daha sonra akış olarak yeniden oynatmanız gerekir. Ekiplerin çoğu yalnızca sınıflandırma, çıkarım ve SSS yanıtları gibi akışsız çağrıları önbelleğe alır.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor