---
title: "LLM yanıt önbellekleme ile maliyet düşürme (Python, SQLite)"
description: "Python'da LLM API yanıtları için test edilmiş birebir eşleşmeli önbellek: anahtara ne girer, neler asla önbelleğe alınmaz, TTL, gizlilik ve isabet oranını ölçme."
url: https://broadrouter.com/tr/blog/cache-llm-responses-cut-cost/
lang: tr
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/blog/cache-llm-responses-cut-cost/) (güncelleme: 2026-11-15).

# LLM API yanıtlarını önbelleğe alıp maliyeti düşürün: Python örneği

BroadNet Inference ekibi · 8 dk okuma · Yayımlandı 2026-11-15

İsteğin tamamını (model, mesajlar, temperature, max\_tokens, response\_format, araçlar, akıl yürütme ayarları ve istem sürümünüz) bir anahtara hash'leyin ve yanıtı bu anahtar altında bir son kullanma süresiyle saklayın. Saklanan yanıtı yalnızca deterministik ve yan etkisiz isteklerde sunun. Önce kayıtlarınızda birebir aynı isteklerin ne sıklıkla tekrarlandığını ölçün: bu pay, birebir önbelleğin kazandırabileceği en fazla tutardır.

## Öne çıkanlar

-   Birebir önbellek, çıktı ve akıl yürütme token'ları dahil çağrının tamamını kurtarır, ama yalnızca bayt bayt aynı isteklerde. Farklı ifade edilmiş sorular her zaman ıskalar.
-   Yanıtı değiştiren her parametreyi ve bir istem sürümünü anahtara koyun. Birini dışarıda bırakmak yanlış yanıtlar sunar; zaman damgası gibi gürültü eklemek ise her isteği ıskalatır.
-   Örneklemeli yanıtları (temperature 0'ın üzerinde), akışla gelen yanıtları, araç çağrılarını veya max\_tokens'ta kesilmiş yanıtları önbelleğe almayın.
-   Önce ölçün: kullanım kayıtlarınızdaki her isteği hash'leyin ve tekrarları sayın. Yayımlanmış tasarruf rakamları sizin trafiğiniz hakkında hiçbir şey söylemez.
-   Önbellek istemleri ve yanıtları saklar. Sağlayıcınız çıkarım içeriği tutmuyorsa, bu içeriğin yaşadığı yer artık önbelleğinizdir; ona bir TTL ve erişim kuralları verin.

**Bu sayfada**

1.  Yanıt önbellekleme, istem önbelleklemeyle aynı şey mi?
2.  Önbellek gerçekten para kazandırır mı?
3.  Önbellek anahtarına neler girer?
4.  Önbellek: SQLite, TTL ve bir atlama politikası
5.  Neler asla önbellekten sunulmamalı?
6.  Önbelleklenmiş yanıtların süresi ne zaman dolmalı?
7.  Anlamsal önbellekleme ne olacak?
8.  Önbellek gizlilik açısından ne anlama gelir?
9.  Önbellekleme diğer maliyet kontrolleriyle nasıl bir arada çalışır?
10.  BroadNet Inference nereye oturuyor

İki kez gönderdiğiniz birebir aynı her LLM isteği için iki kez ödersiniz. Bir yanıt önbelleği yanıtı ilk seferde saklar ve sonraki seferde döndürür; faturalanan token yoktur, bekleme de yoktur. Fikir basittir. Zor kısımlar şunlardır: iki isteği neyin “birebir aynı” yaptığına, hangi isteklerin asla depodan sunulmaması gerektiğine ve trafiğinizin önemli olacak kadar tekrar edip etmediğine karar vermek.

Bu yazı Python’da SQLite üzerinde, sahte bir OpenAI uyumlu sunucuya karşı test edilmiş küçük bir birebir eşleşmeli önbellek kuruyor ve tek satır yazmadan önce isabet oranını kayıtlarınızdan nasıl ölçeceğinizi gösteriyor.

## Yanıt önbellekleme, istem önbelleklemeyle aynı şey mi?

Hayır. Farklı şeyleri kurtarırlar ve ikisini birlikte kullanabilirsiniz.

|  | İstem önbellekleme (sağlayıcı) | Yanıt önbellekleme (siz) |
| --- | --- | --- |
| Yeniden kullanılan | İstemin tekrarlanan başlangıcı | Yanıtın tamamı |
| Kim çalıştırır | API sağlayıcısı | Sizin kodunuz |
| Model yine çalışır mı? | Evet, yeni bir yanıt yazar | Hayır |
| Ne kurtarır | Girdi maliyetinin bir kısmını | Girdi, çıktı ve akıl yürütme token’larını, artı gecikmeyi |
| Ne zaman isabet eder | Ortak önek, farklı sorular | Tamamen aynı istek |

Sağlayıcı tarafını [önbellekli girdi token’ları](https://broadrouter.com/tr/blog/cached-input-tokens-explained/) açıklıyor; önekin yeniden kullanılması için istemin nasıl düzenleneceğini ise [önbellekleme için istem yapısı](https://broadrouter.com/tr/blog/prompt-structure-for-caching/) gösteriyor. [İstem önbellekleme hesaplayıcısı](https://broadrouter.com/tools/prompt-caching-calculator/) bunu fiyatlandırır. Yanıt önbelleği bunların hepsinin önünde durur: isabet olduğunda sunucunuzdan hiçbir istek çıkmaz.

## Önbellek gerçekten para kazandırır mı?

Kurmadan önce ölçün. Birçok önbellekleme eğitimindeki maliyet tasarrufu yüzdeleri başka birinin trafiğinden gelir. Sizin rakamınız tek bir şeye bağlıdır: aynı isteğin son kullanma süreniz içinde ne sıklıkla yeniden geldiği.

Her çağrıyı zaten [LLM API kullanım kaydı](https://broadrouter.com/tr/blog/llm-api-usage-logging/) yazısındaki gibi kaydediyorsanız, bir alan ekleyin: `request_hash`, yani aşağıda anlatılan önbellek anahtarı. Hiç istem metni saklamaz; bu yüzden içeriği dışarıda tutan bir kayda uyar. Ardından tekrarları sayın:

```python
import json
from collections import Counter

def potential_hit_rate(log_path: str) -> float:
    """Share of calls whose request_hash was already seen: an upper bound for an exact cache."""
    hashes = [json.loads(line)["request_hash"] for line in open(log_path)]
    seen, repeats = set(), 0
    for h in hashes:
        repeats += h in seen
        seen.add(h)
    print("top repeated requests:", Counter(hashes).most_common(3))
    return repeats / len(hashes) if hashes else 0.0

print(f"potential hit rate: {potential_hit_rate('calls.jsonl'):.1%}")
```

Biri beş kez, diğeri üç kez tekrarlanan ve on ikisi benzersiz olan 20 çağrılık sentetik bir kayıtta betik %30,0’lık potansiyel isabet oranı yazdırdı. Bu bir üst sınırdır: son kullanma süresini yok sayar ve her tekrarın depodan güvenle sunulabileceğini varsayar.

Ardından oranı paraya çevirin:

```text
monthly saving = hit rate × requests per month
                 × (input tokens × input price + output tokens × output price) ÷ 1,000,000
```

Yani: aylık tasarruf = isabet oranı × aylık istek sayısı × (girdi token’ı × girdi fiyatı + çıktı token’ı × çıktı fiyatı) ÷ 1.000.000.

Çıktı token’ları akıl yürütmeyi içerir. BroadNet belgeleri DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B’nin yanıtlamadan önce akıl yürüttüğünü ve akıl yürütmenin `max_tokens` içinde sayıldığını söyler; yani bir isabet, yanıtta hiç görmediğiniz token’ları da kurtarır. Yanıtın uzunluğunu değil, kaydedilmiş `usage` içindeki `completion_tokens` değerini alın.

Token cinsinden bir örnek: her biri 1.200 girdi ve 150 çıktı token’lık ayda 100.000 istek, %30 isabet oranıyla 36 milyon girdi ve 4,5 milyon çıktı token’ından kaçınır. [DeepSeek V4.1 Flash](https://broadrouter.com/tr/models/deepseek-v4.1-flash/) üzerinde bunlar 1M başına sırasıyla $0.175 ve $0.52 ile faturalandırılır; kendi rakamlarınızı [LLM API maliyet hesaplayıcısına](https://broadrouter.com/tools/llm-api-cost-calculator/) girin. Bu girdinin çoğu zaten sağlayıcı önbelleğinde isabet ediyorduysa, girdi tasarrufu daha düşük önbellekli ücretten hesaplanır (aynı modelde 1M başına $0.0055); bu yüzden çoğu zaman önemli olan çıktı tarafıdır.

## Önbellek anahtarına neler girer?

Yanıtı değiştirebilecek her şey, başka hiçbir şey değil.

-   **Dahil edin:** `model`, tam `messages` listesi (sistem istemi dahil), `temperature`, `top_p`, `max_tokens`, `seed`, `response_format`, `tools`, `tool_choice` ve `reasoning_effort`.
-   **Kontrolünüzde bir istem sürümü ekleyin**, örneğin `faq-v3`. İstek gövdesinde görünmeyen istem şablonlarını, getirme verilerini veya son işlemeyi değiştirdiğinizde sürümü artırın.
-   **Dışarıda bırakın:** yanıtı değiştirmeden çağrıdan çağrıya değişen her şeyi: istek kimlikleri, zaman damgaları, izleme başlıkları, yalnızca kötüye kullanım takibi için gönderdiğiniz bir `user` alanı.

Anahtar materyalini her seferinde aynı şekilde serileştirin. Python’un `json.dumps` fonksiyonu `sort_keys=True` ve `separators=(",", ":")` ile, sözlük sırasından bağımsız tek bir kanonik dize verir; `ensure_ascii=False` ise Arapça ve Latin olmayan diğer metinleri kaçış dizileri yerine UTF-8 olarak tutar. Bunu SHA-256 ile hash’leyin.

Tehlikeli hata, eksik bir alandır. `max_tokens` anahtarda yoksa, küçük bir limitte kesilmiş bir yanıt, uzun bir yanıta izin veren bir isteğe sunulur.

## Önbellek: SQLite, TTL ve bir atlama politikası

```python
import hashlib, json, sqlite3, time

# Every field that changes the answer belongs in the key.
KEY_FIELDS = ("model", "messages", "temperature", "top_p", "max_tokens", "seed",
              "response_format", "tools", "tool_choice", "reasoning_effort")

def cache_key(params: dict, prompt_version: str) -> str:
    material = {k: params[k] for k in KEY_FIELDS if k in params}
    material["prompt_version"] = prompt_version
    canon = json.dumps(material, sort_keys=True, separators=(",", ":"), ensure_ascii=False)
    return hashlib.sha256(canon.encode("utf-8")).hexdigest()

class ResponseCache:
    def __init__(self, path="llm_cache.sqlite", ttl_s=7 * 86400):
        self.db, self.ttl = sqlite3.connect(path), ttl_s
        self.db.execute("CREATE TABLE IF NOT EXISTS cache (k TEXT PRIMARY KEY, created REAL,"
                        " body TEXT, prompt_tokens INT, completion_tokens INT)")
        self.hits = self.misses = self.skips = self.saved_in = self.saved_out = 0

    def create(self, client, prompt_version: str, **params):
        if params.get("stream") or params.get("temperature", 1) > 0:
            self.skips += 1                       # not cacheable: call the model directly
            return client.chat.completions.create(**params)
        k = cache_key(params, prompt_version)
        row = self.db.execute("SELECT body, created, prompt_tokens, completion_tokens"
                              " FROM cache WHERE k = ?", (k,)).fetchone()
        if row and time.time() - row[1] < self.ttl:
            self.hits += 1; self.saved_in += row[2]; self.saved_out += row[3]
            return json.loads(row[0])             # a plain dict, not an SDK object
        self.misses += 1
        r = client.chat.completions.create(**params)
        choice = r.choices[0]
        if choice.finish_reason == "stop" and not choice.message.tool_calls:
            self.db.execute("INSERT OR REPLACE INTO cache VALUES (?, ?, ?, ?, ?)",
                            (k, time.time(), r.model_dump_json(),
                             r.usage.prompt_tokens, r.usage.completion_tokens))
            self.db.commit()
        return r.model_dump()
```

Ve bunun üzerinde bir çalıştırma:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
cache = ResponseCache("demo.sqlite", ttl_s=86400)
SYSTEM = {"role": "system", "content": "Answer questions about our refund policy in one sentence."}
questions = ["How long do refunds take?", "Can I refund a gift card?",
             "How long do refunds take?", "How long do refunds take?", "Can I refund a gift card?"]
for q in questions:
    r = cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0,
                     max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": q}])
    print(r["choices"][0]["message"]["content"])
# a personalised, sampled request is never cached
cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0.7,
             messages=[SYSTEM, {"role": "user", "content": "Write me a friendly reminder"}])
# a new prompt version is a new key
cache.create(client, "faq-v4", model="broadnet/deepseek-v4.1-flash", temperature=0,
             max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": "How long do refunds take?"}])
print(f"hits={cache.hits} misses={cache.misses} skipped={cache.skips} "
      f"saved_input={cache.saved_in} saved_output={cache.saved_out}")
```

Bunu OpenAI Python SDK 3.51.0 ile, üst akış çağrılarını sayan ve yanıt başına 1.200 istem ve 150 completion token’ı raporlayan yerel bir sahte sunucuya karşı çalıştırdık (canlı API çağrısı yok). Yedi istek dört üst akış çağrısı yaptı. Betik `hits=3 misses=3 skipped=1 saved_input=3600 saved_output=450` yazdırdı. Aynı veritabanı dosyası üzerinde yeniden çalıştırıldığında, önbelleğe alınabilir altı isteğin hepsi isabet etti (`hits=6 misses=0`): SQLite önbelleği yeniden başlatmalar arasında korur. Aynı alanlardan farklı sırayla oluşturulan anahtarlar eşleşti.

Kodla ilgili notlar:

-   **`max_tokens=1200`** yanıttan önce akıl yürütmeye yer bırakır. Küçük bir limitle, akıl yürüten bir model boş yanıt döndürebilir ([neden](https://broadrouter.com/tr/guides/reasoning-tokens-empty-response/)). Bu yanıtlar saklanmaz, çünkü `finish_reason` değeri `stop` değil `length` olur.
-   **İsabetler bir dict döndürür.** Iskalar da `model_dump()` döndürür; böylece çağıranlar tek bir biçim görür. Kodunuz SDK nesneleri bekliyorsa ikisini de sarmalayın.
-   **Eksik bir `temperature` örneklemeli sayılır.** Bu durumda sunucu kendi varsayılanını uygular, bu da 0’ın üzerinde olabilir; bu yüzden siz açıkça 0 ayarlamadıkça sarmalayıcı önbelleğe almayı atlar.
-   **SQLite tek veya birkaç süreç için uygundur.** Birden çok sunucu için aynı anahtar ve TTL mantığını Redis’e veya veritabanınıza koyun.

## Neler asla önbellekten sunulmamalı?

-   **Örneklemeli yanıtlar (temperature 0’ın üzerinde).** Çeşitliliği siz seçtiniz. Önbellek onu ortadan kaldırır ve “yeniden üret” düğmesine basan kullanıcı aynı metni alır.
-   **Kişiselleştirilmiş yanıtlar**, kullanıcı kimliği anahtarda olmadıkça. “Hesabımı özetle” diyen iki kullanıcının hesapları farklıdır. Daha iyisi: yalnızca mesajlarında kullanıcıya özgü veri olmayan istekleri önbelleğe alın.
-   **Araç çağrıları.** Bir [araç çağrısı](https://broadrouter.com/tr/glossary/tool-calling/) harekete geçme talimatıdır. “1182 numaralı siparişi iade et” talimatını depodan yeniden oynatmak bir yan etkiyi tekrarlayabilir; doğru sonraki adım da mevcut duruma bağlıdır. Sarmalayıcı `tool_calls` içeren hiçbir yanıtı saklamaz.
-   **Akışla gelen yanıtlar.** Sarmalayıcı `stream=True` için önbelleği atlar. Bir akışı önbelleğe almak, onu tamponlamak, bittiğini kontrol etmek ve yeniden oynatmak demektir; sohbet arayüzleri için buna nadiren değer.
-   **Kesilmiş veya başarısız yanıtlar.** Yalnızca `finish_reason == "stop"` olanları saklayın. Bir hafta önbellekte kalan yarım bir yanıt veya hata, model sorunu gibi görünen bir hatadır.
-   **Zamana bağlı yanıtlar.** “Bugünkü döviz kuru nedir?” kısa bir TTL gerektirir ya da hiç önbellek gerektirmez.

İyi önbelleklenenler: sabit bir girdi kümesinin sınıflandırılması, yeniden işlediğiniz belgelerden çıkarım, sabit bir istemden SSS yanıtları, yeniden çalıştırdığınız test paketleri ve değerlendirmeler, aynı isteği tekrar tekrar gönderdiğiniz geliştirme döngüleri.

## Önbelleklenmiş yanıtların süresi ne zaman dolmalı?

Üç tür geçersiz kılma kullanın:

1.  **TTL.** Girdi başına süre sınırı: sabit SSS yanıtları için günler, canlı veri okuyan her şey için dakikalar.
2.  **Anahtarda sürüm.** Sistem istemi, getirme dizini veya çıktı şeması değiştiğinde istem sürümünü değiştirin. Eski girdiler eşleşmeyi bırakır ve zamanla silinir.
3.  **Anahtarda model.** Zaten orada; bu yüzden bir modelden diğerine geçmek yeni bir önbellek başlatır; bir [geçişi değerlendirirken](https://broadrouter.com/tr/blog/evaluate-llm-before-switching/) istediğiniz de budur.

Süresi dolmuş satırları düzenli aralıklarla silin (`DELETE FROM cache WHERE created < ?`). Yoksa dosya yalnızca büyür.

Bir yan faydası da var. Sunum motorları aynı girdi için aynı çıktıyı vaat etmez: vLLM belgeleri “does not guarantee the reproducibility of the results by default” (BroadRouter çevirisi: varsayılan olarak sonuçların yeniden üretilebilirliğini garanti etmez) der. Önbellek, girdinin ömrü boyunca aynı soruya her kullanıcıya aynı yanıtı verir.

## Anlamsal önbellekleme ne olacak?

Anlamsal önbellek her soruyu embedding’e çevirir ve yeni bir soru yeterince yakın olduğunda saklanan bir yanıtı döndürür; böylece “iade ne kadar sürer?” sorusu “iadeler ne kadar sürüyor?” sorusuna isabet edebilir. En bilinen açık kaynak örnek GPTCache’tir. README dosyası benzerlik araması için bir vektör deposu ve isabete karar vermek için bir benzerlik değerlendiricisi kullandığını söyler, “you may encounter false positives during cache hits and false negatives during cache misses” (BroadRouter çevirisi: önbellek isabetlerinde yanlış pozitiflerle, ıskalarda ise yanlış negatiflerle karşılaşabilirsiniz) diye uyarır ve embedding’leri devre dışı bırakmanın onu anahtar kelime eşleyen bir önbelleğe dönüştürdüğünü belirtir.

İki pratik nokta. Birincisi, bir [embedding](https://broadrouter.com/tr/glossary/embeddings/) modeli ve bir vektör deposu gerektirir. BroadNet Inference embedding sunmaz; bu katman için başka bir sağlayıcı veya yerel bir model kullanırsınız; seçenekleri [embedding maliyet hesaplayıcısı](https://broadrouter.com/tools/embedding-cost-calculator/) fiyatlandırır. İkincisi, yanlış bir isabet, farklı bir soruya kendinden emin bir yanıt döndürür. Katı bir benzerlik eşiği kullanın, gerçek “kıl payı” çiftleri üzerinde test edin ve anlamsal önbelleği riskin düşük olduğu yanıtlara saklayın. Her durumda birebir önbelleği öne koyun: kontrol etmesi bedavadır ve ne sorulduğu konusunda asla yanılmaz.

## Önbellek gizlilik açısından ne anlama gelir?

Önbellek, istemlerin ve yanıtların deposudur. Bu, verilerinizin yaşadığı yeri değiştirir.

BroadNet’in 2026-11-15’te kontrol edilen [çıkarım gizlilik beyanı](https://www.broadnet.ai/inference-privacy), ağ geçidinin hiçbir istem, mesaj, yanıt veya transkript tutmadığını, buna karşılık içerik barındırmayan trafik ve kullanım kayıtlarının (token sayıları, maliyet, zamanlamalar) saklandığını söyler. Çıkarım içeriği saklanmaz. Gerekli hesap, faturalandırma ve güvenlik meta verileri beyanda anlatıldığı şekilde saklanır. Bir yanıt önbelleği eklediğiniz anda, sağlayıcının tutmadığı içeriği sisteminiz tutmaya başlar. Ona diğer kullanıcı verisi depoları gibi davranın:

-   Mümkün olduğunda yalnızca kişisel veri içermeyen istekleri önbelleğe alın; bu isabet oranını da artırır.
-   Saklama politikanıza yetecek kadar kısa bir TTL belirleyin ve düzenli olarak silin.
-   Dosyayı veya tabloyu durağan halde şifreleyin ve kimlerin okuyabileceğini sınırlayın.
-   Kullanıcı metni tutabiliyorsa, önbelleği veri silme taleplerinin kapsamına alın.

Bu kontrol listesinin geri kalanını [bir LLM API’sine hassas veri göndermek](https://broadrouter.com/tr/blog/llm-api-sensitive-data/) yazısı ele alıyor.

## Önbellekleme diğer maliyet kontrolleriyle nasıl bir arada çalışır?

Önbellekleme tekrarlanan çağrıları ortadan kaldırır. Benzersiz olanlar için hiçbir şey yapmaz; bu yüzden diğer kontrollerin yerini almaz, yanlarında durur: [daha kısa istemler](https://broadrouter.com/tr/blog/reduce-prompt-tokens/), sağlayıcının istem önbellekleme özelliği, istek başına bir `max_tokens` sınırı ve [LLM API harcama kontrolündeki](https://broadrouter.com/tr/blog/llm-api-spend-control/) bütçeler ile döngü sınırları. Büyük tek seferlik işlerde girdileri göndermeden önce tekilleştirin; bu da bir önbellekle aynı fikirdir, yalnızca bir kez yapılır. İş tarafını [Batch API olmadan büyük bir işi işlemek](https://broadrouter.com/tr/blog/llm-batch-processing-without-batch-api/) yazısı gösteriyor.

Sabit fiyatlı bir planda hesap değişir. BroadNet’in DeepSeek oturumlarında token sayacı yoktur; bu yüzden orada bir önbellek isabeti para kazandırmaz. Yine de zaman kazandırır: bir oturum aynı anda tek istek çalıştırır, dolayısıyla atladığınız her tekrar oturumu yeni işe açar.

## BroadNet Inference nereye oturuyor

BroadRouter, BroadNet’in kendi sitesidir. BroadNet Inference; DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B ve Gemma 4 VL 26B’yi OpenAI uyumlu bir `/v1/chat/completions` uç noktası arkasında sunar; bu yüzden yukarıdaki sarmalayıcı, temel URL değiştirilerek [OpenAI Python SDK](https://broadrouter.com/tr/guides/openai-python-sdk/) ile çalışır. Kendine ait bir yanıt önbellekleme özelliği yoktur; bu yazıdaki önbellek sizindir. [API referansına](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-cache-llm-responses-cut-cost&utm_content=body) göre sağlayıcı tarafındaki önbellek isabetleri `usage.prompt_tokens_details.cached_tokens` içinde raporlanır ve önbellekli girdi fiyatıyla faturalandırılır. Model başına fiyatlar [fiyat sayfasında](https://inference.broadnet.ai/pricing?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-cache-llm-responses-cut-cost&utm_content=body).

Bu konu için ücretsiz araçlar (İngilizce)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Ücretsiz araçlar (İngilizce)](https://broadrouter.com/tools/)

## Bu yazıdaki terimler

[Token](https://broadrouter.com/tr/glossary/token/)

Token, bir dil modelinin okuduğu ve yazdığı metin birimidir: modelin tokenizer'ının ürettiği bir kelime, kelime parçası, noktalama işareti veya bayt dizisi. LLM API'leri kullanımı token cinsinden sayar, sınırlar ve genellikle faturalandırır.

[Embedding (gömme vektörü)](https://broadrouter.com/tr/glossary/embeddings/)

Embedding'ler (gömme vektörleri), bir modelin bir metin parçasını, görseli veya başka bir girdiyi temsil etmek için ürettiği kayan noktalı sayı listeleridir (vektörler). Anlamca benzer girdiler birbirine yakın vektörler alır; bu yüzden vektörler arasındaki mesafe arama sonuçlarını sıralamak, belgeleri kümelemek veya ilgili öğeleri bulmak için kullanılabilir.

[Girdi ve çıktı token'ları](https://broadrouter.com/tr/glossary/input-and-output-tokens/)

Girdi token'ları, bir dil modelinin istekte okuduğu token'lardır: sistem istemi, konuşma geçmişi, araç tanımları ve görseller dahil. Çıktı token'ları ise modelin yanıt olarak ürettikleridir, akıl yürütme dahil. LLM API'leri bunları genellikle ayrı fiyatlandırır ve çıktı genellikle daha pahalıdır.

[Araç çağırma (tool calling)](https://broadrouter.com/tr/glossary/tool-calling/)

Araç çağırma (tool calling), fonksiyon çağırma (function calling) olarak da bilinir; modelin, geliştiricinin tanımladığı bir fonksiyonu çalıştırmak için JSON argümanlı yapılandırılmış bir istek döndürdüğü bir LLM API özelliğidir. Fonksiyonu uygulama çalıştırır ve sonucu geri gönderir; model hiçbir zaman kodu kendisi çalıştırmaz.

[Vektör veritabanı (vector database)](https://broadrouter.com/tr/glossary/vector-database/)

Vektör veritabanı, embedding vektörlerini çoğu zaman kaynak metin ve meta verileriyle birlikte tutan ve en yakın komşu sorgularını yanıtlayan bir veri deposudur: bir sorgu vektörü verildiğinde, genellikle kosinüs mesafesi, Öklid mesafesi veya iç çarpıma göre ona en çok benzeyen kayıtlı vektörleri döndürür.

[Akış (streaming)](https://broadrouter.com/tr/glossary/streaming/)

Akış (streaming), bir dil modeli yanıtını sonda tek parça halinde değil, hâlâ üretilirken küçük parçalar halinde döndürme yöntemidir. OpenAI uyumlu API'ler, istekte stream değeri true olduğunda server-sent events (SSE) üzerinden akış yapar.

[Batch API (toplu işlem API'si)](https://broadrouter.com/tr/glossary/batch-api/)

Batch API, çok sayıda isteği genellikle bir dosya olarak tek seferde kabul eden, bunları hemen değil belirli bir süre içinde işleyen ve sonuçları birlikte döndüren asenkron bir LLM uç noktasıdır. OpenAI ve Anthropic gibi sağlayıcılar batch isteklerini standart API'lerine göre indirimli fiyatlandırır.

[Önbellekli girdi token'ları (cached input tokens)](https://broadrouter.com/tr/glossary/cached-input-tokens/)

Önbellekli girdi token'ları, bir LLM sağlayıcısının kısa süre önce işlediği ve yeniden hesaplamak yerine önbellekten kullanabildiği istem token'larıdır; genellikle sistem istemi veya belge gibi tekrarlanan bir önektir. Sağlayıcılar bunları yeni girdi token'larından daha düşük ücretle faturalandırır.

## Sık sorulan sorular

### İstem önbellekleme ile yanıt önbellekleme arasındaki fark nedir?

İstem önbelleklemeyi sağlayıcı yapar: tekrarlanan bir istem öneki daha düşük önbellekli girdi fiyatıyla faturalandırılır ve model yine yeni bir yanıt yazar. Yanıt önbelleklemeyi ise siz yaparsınız: yanıtın tamamını saklar ve birebir aynı bir istek için modeli hiç çağırmadan döndürürsünüz.

### Temperature 0'da LLM yanıtlarını önbelleğe almalı mıyım?

İsteğin yan etkisi yoksa ve aynı yanıt onu gönderen herkes için kabul edilebilirse, evet. Temperature 0 zaten bir sunum motorundan birebir aynı çıktıyı garanti etmez; bu yüzden önbellek yanıtı tutarlı da kılar. Temperature 0'ın üzerindeyse veya belirtilmemişse önbelleğe almayın.

### LLM yanıt önbellekleme ne kadar tasarruf sağlar?

Son kullanma süreniz içinde birebir tekrar olan isteklerin payı çarpı bu isteklerin maliyeti kadar. Bu payı bulmak için kendi kayıtlarınızda tekrarlanan istek hash'lerini sayın. Serbest sohbette sıfıra yakın, sabit SSS veya sınıflandırma girdilerinde yüksek olabilir.

### Anlamsal önbellekleme, birebir eşleşmeli önbellekten daha mı iyi?

Benzer sorular eşleştiği için daha sık isabet eder, ama farklı bir soruya ait yanıtı döndürebilir. Ayrıca bir embedding modeli ve bir vektör deposu gerektirir. Birebir önbellekle başlayın; anlamsal katmanı yalnızca yanlış bir isabetin ucuz olduğu yerlerde ekleyin.

### Akışla gelen yanıtları önbelleğe alabilir miyim?

Buradaki basit sarmalayıcıyla hayır. Akışın tamamını toplamanız, normal bittiğini kontrol etmeniz, saklamanız ve daha sonra akış olarak yeniden oynatmanız gerekir. Ekiplerin çoğu yalnızca sınıflandırma, çıkarım ve SSS yanıtları gibi akışsız çağrıları önbelleğe alır.

## Okumaya devam edin

-   [Önbellekli girdi tokenları: LLM API faturası nasıl düşürülür](https://broadrouter.com/tr/blog/cached-input-tokens-explained/)
-   [Önek önbelleğe alınsın diye istem nasıl yapılandırılır?](https://broadrouter.com/tr/blog/prompt-structure-for-caching/)
-   [LLM API harcama kontrolü: bütçe, anahtar sınırı, döngü koruması](https://broadrouter.com/tr/blog/llm-api-spend-control/)
-   [İstem token sayısını azaltma: istem, araç ve veride ölçülen kazanç](https://broadrouter.com/tr/blog/reduce-prompt-tokens/)
-   [LLM API kullanım günlüğü: kullanıcı ve özellik başına maliyet, PII yok](https://broadrouter.com/tr/blog/llm-api-usage-logging/)
-   [Batch API olmadan LLM toplu işleme: kaldığı yerden devam eden betik](https://broadrouter.com/tr/blog/llm-batch-processing-without-batch-api/)
-   [BroadNet'in GPU donanımı ve sunum yaklaşımı, BroadNet'in anlatımıyla](https://broadrouter.com/tr/blog/broadnet-gpu-fleet-and-serving/)
-   [Belge yapay zekâsı iş akışınıza insan incelemesini ekleyin](https://broadrouter.com/tr/blog/document-review-queues/)
-   [Rehber: OpenAI Python SDK'yı BroadNet Inference ile kullanın](https://broadrouter.com/tr/guides/openai-python-sdk/)
-   [Rehber: Akıl yürüten model neden boş yanıt döndürür?](https://broadrouter.com/tr/guides/reasoning-tokens-empty-response/)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-cache-llm-responses-cut-cost&utm_content=page-cta) ·

**Kaynaklar**

-   [BroadNet Inference API referansı: akıl yürütme max\_tokens içinde sayılır, akıl yürütme ve önbellekli token'lar için usage alanları, kullandıkça öde sınırları (2026-11-15 tarihinde kontrol edildi) (İngilizce)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-cache-llm-responses-cut-cost&utm_content=sources)
-   [BroadNet çıkarım gizlilik beyanı: istem, mesaj, yanıt veya transkript tutulmaz; içerik barındırmayan trafik ve kullanım kayıtları saklanır (2026-11-15 tarihinde kontrol edildi) (İngilizce)](https://www.broadnet.ai/inference-privacy)
-   [GitHub'da GPTCache: embedding'ler ve benzerlik değerlendiricisiyle anlamsal önbellek, yanlış pozitifler ve yanlış negatifler, embedding'siz anahtar kelime eşleme modu (2026-11-15 tarihinde kontrol edildi)](https://github.com/zilliztech/GPTCache)
-   [vLLM belgeleri, Reproducibility: "vLLM does not guarantee the reproducibility of the results by default" (BroadRouter çevirisi: vLLM varsayılan olarak sonuçların yeniden üretilebilirliğini garanti etmez) (2026-11-15 tarihinde kontrol edildi)](https://docs.vllm.ai/en/latest/usage/reproducibility.html)
-   [Python belgeleri, json modülü: json.dumps içinde sort\_keys, separators ve ensure\_ascii (2026-11-15 tarihinde kontrol edildi)](https://docs.python.org/3/library/json.html)
