---
title: "LLM API جوابات کیش کریں: Python، SQLite | BroadRouter"
description: "Python میں LLM API جوابات کے لیے ٹیسٹ شدہ ایگزیکٹ میچ کیش: کلید میں کیا جاتا ہے، کیا کبھی کیش نہ کریں، TTL، پرائیویسی اور بنانے سے پہلے ہٹ ریٹ کیسے ناپیں۔"
url: https://broadrouter.com/ur/blog/cache-llm-responses-cut-cost/
lang: ur
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/blog/cache-llm-responses-cut-cost/) (اپ ڈیٹ: 2026-11-15).

# LLM API جوابات کیش کر کے لاگت کم کریں: Python میں ایگزیکٹ میچ کیش

BroadNet Inference ٹیم · 8 منٹ کی پڑھائی · شائع شدہ 2026-11-15

پوری درخواست (ماڈل، پیغامات، temperature، max\_tokens، response\_format، ٹولز، ریزننگ سیٹنگز اور آپ کا پرامپٹ ورژن) کو ہیش کر کے ایک کلید بنائیں، اور جواب اس کے تحت میعاد کے ساتھ محفوظ کریں۔ محفوظ جواب صرف متعین، بغیر سائیڈ ایفیکٹ والی درخواستوں کو دیں۔ پہلے اپنے لاگز میں ناپیں کہ یکساں درخواستیں کتنی بار دہرائی جاتی ہیں: وہی حصہ ایگزیکٹ کیش کی زیادہ سے زیادہ بچت ہے۔

## اہم نکات

-   ایگزیکٹ کیش پوری کال بچاتا ہے، آؤٹ پٹ اور ریزننگ ٹوکنز سمیت، لیکن صرف بائٹ بہ بائٹ یکساں درخواستوں کے لیے۔ دوسرے الفاظ میں پوچھے گئے سوال ہمیشہ مِس ہوتے ہیں۔
-   جواب بدلنے والا ہر پیرامیٹر کلید میں ڈالیں، ساتھ میں پرامپٹ ورژن۔ ایک بھی چھوٹا تو غلط جوابات ملتے ہیں؛ ٹائم اسٹیمپ جیسا شور شامل کیا تو ہر درخواست مِس ہوتی ہے۔
-   سیمپل کیے گئے جوابات (temperature 0 سے اوپر)، اسٹریم کیے گئے جوابات، ٹول کالز، یا max\_tokens پر کٹے جوابات کیش نہ کریں۔
-   پہلے ناپیں: اپنے usage لاگز میں ہر درخواست کا ہیش بنائیں اور دہراؤ گنیں۔ شائع شدہ بچت کے اعداد آپ کے ٹریفک کے بارے میں کچھ نہیں بتاتے۔
-   کیش پرامپٹس اور جوابات محفوظ کرتا ہے۔ اگر آپ کا فراہم کنندہ کوئی انفرنس مواد نہیں رکھتا تو اب وہ مواد کیش میں رہتا ہے، اس لیے اسے TTL اور رسائی کے اصول دیں۔

**اس صفحے پر**

1.  کیا ریسپانس کیشنگ اور پرامپٹ کیشنگ ایک ہی چیز ہے؟
2.  کیا کیش سے واقعی پیسے بچیں گے؟
3.  کیش کلید میں کیا جاتا ہے؟
4.  کیش: SQLite، TTL اور اسکپ پالیسی
5.  کیش سے کبھی کیا نہیں دینا چاہیے؟
6.  کیش شدہ جوابات کی میعاد کب ختم ہونی چاہیے؟
7.  سیمینٹک کیشنگ کا کیا؟
8.  پرائیویسی کے لیے کیش کا کیا مطلب ہے؟
9.  کیشنگ دوسرے لاگت کنٹرولز کے ساتھ کیسے فٹ ہوتی ہے؟
10.  BroadNet Inference کہاں فٹ ہوتا ہے

ہر یکساں LLM درخواست جو آپ دو بار بھیجتے ہیں، اس کی ادائیگی بھی دو بار ہوتی ہے۔ ریسپانس کیش پہلی بار جواب محفوظ کرتا ہے اور اگلی بار وہی لوٹا دیتا ہے، بغیر کسی ٹوکن کے بل اور بغیر انتظار کے۔ خیال سادہ ہے۔ مشکل حصے ہیں یہ طے کرنا کہ دو درخواستیں “یکساں” کب ہیں، کن درخواستوں کو کبھی اسٹوریج سے جواب نہیں دینا چاہیے، اور کیا آپ کا ٹریفک اتنا دہراتا ہے کہ اس سے فرق پڑے۔

یہ پوسٹ Python میں SQLite پر ایک چھوٹا ایگزیکٹ میچ کیش بناتی ہے، ایک موک OpenAI سے مطابقت رکھنے والے سرور پر ٹیسٹ شدہ، اور دکھاتی ہے کہ اس میں سے کچھ بھی لکھنے سے پہلے اپنے لاگز سے ہٹ ریٹ کیسے ناپیں۔

## کیا ریسپانس کیشنگ اور پرامپٹ کیشنگ ایک ہی چیز ہے؟

نہیں۔ یہ مختلف چیزیں بچاتے ہیں، اور آپ دونوں استعمال کر سکتے ہیں۔

|  | پرامپٹ کیشنگ (فراہم کنندہ) | ریسپانس کیشنگ (آپ) |
| --- | --- | --- |
| کیا دوبارہ استعمال ہوتا ہے | پرامپٹ کا دہرایا گیا آغاز | پورا جواب |
| کون چلاتا ہے | API فراہم کنندہ | آپ کا کوڈ |
| ماڈل پھر بھی چلتا ہے؟ | ہاں، نیا جواب لکھتا ہے | نہیں |
| کیا بچاتا ہے | ان پٹ لاگت کا ایک حصہ | ان پٹ، آؤٹ پٹ اور ریزننگ ٹوکنز، ساتھ میں لیٹنسی |
| کب ہٹ ہوتا ہے | مشترکہ پری فکس، مختلف سوال | ہوبہو وہی درخواست |

[کیش شدہ ان پٹ ٹوکن](https://broadrouter.com/ur/blog/cached-input-tokens-explained/) فراہم کنندہ والا حصہ سمجھاتا ہے، اور [کیشنگ کے لیے پرامپٹ کی ساخت](https://broadrouter.com/ur/blog/prompt-structure-for-caching/) دکھاتا ہے کہ پرامپٹ کیسے ترتیب دیں تاکہ پری فکس دوبارہ استعمال ہو۔ [پرامپٹ کیشنگ کیلکولیٹر](https://broadrouter.com/tools/prompt-caching-calculator/) اس کی قیمت نکالتا ہے۔ ریسپانس کیش ان سب کے آگے بیٹھتا ہے: ہٹ ہونے پر کوئی درخواست آپ کے سرور سے باہر نہیں جاتی۔

## کیا کیش سے واقعی پیسے بچیں گے؟

بنانے سے پہلے ناپیں۔ کئی کیشنگ ٹیوٹوریلز میں لاگت کی بچت کے فیصد کسی اور کے ٹریفک سے آتے ہیں۔ آپ کا عدد ایک ہی بات پر منحصر ہے: ایک ہی درخواست آپ کی میعاد کی ونڈو کے اندر کتنی بار دوبارہ آتی ہے۔

اگر آپ پہلے سے ہر کال لاگ کرتے ہیں، جیسا [LLM API usage لاگنگ](https://broadrouter.com/ur/blog/llm-api-usage-logging/) میں، تو ایک فیلڈ شامل کریں: `request_hash`، یعنی نیچے بیان کی گئی کیش کلید۔ اس میں کوئی پرامپٹ متن نہیں ہوتا، اس لیے یہ ایسے لاگ میں فٹ ہوتا ہے جو مواد باہر رکھتا ہے۔ پھر دہراؤ گنیں:

```python
import json
from collections import Counter

def potential_hit_rate(log_path: str) -> float:
    """Share of calls whose request_hash was already seen: an upper bound for an exact cache."""
    hashes = [json.loads(line)["request_hash"] for line in open(log_path)]
    seen, repeats = set(), 0
    for h in hashes:
        repeats += h in seen
        seen.add(h)
    print("top repeated requests:", Counter(hashes).most_common(3))
    return repeats / len(hashes) if hashes else 0.0

print(f"potential hit rate: {potential_hit_rate('calls.jsonl'):.1%}")
```

20 کالز کے ایک مصنوعی لاگ پر، جس میں ایک درخواست پانچ بار، دوسری تین بار اور بارہ منفرد تھیں، اس نے 30.0% کا ممکنہ ہٹ ریٹ چھاپا۔ یہ بالائی حد ہے: یہ میعاد کو نظر انداز کرتا ہے، اور فرض کرتا ہے کہ ہر دہراؤ کو اسٹوریج سے دینا محفوظ ہے۔

پھر شرح کو پیسوں میں بدلیں:

```text
monthly saving = hit rate × requests per month
                 × (input tokens × input price + output tokens × output price) ÷ 1,000,000
```

آؤٹ پٹ ٹوکنز میں ریزننگ شامل ہے۔ BroadNet کی دستاویزات کہتی ہیں کہ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب سے پہلے ریزننگ کرتے ہیں اور ریزننگ `max_tokens` میں شمار ہوتی ہے، اس لیے ہٹ وہ ٹوکن بھی بچاتا ہے جو آپ کو جواب میں کبھی نظر نہیں آتے۔ `completion_tokens` لاگ شدہ `usage` سے لیں، جواب کی لمبائی سے نہیں۔

ٹوکنز میں ایک مثال: 100,000 درخواستیں ماہانہ، ہر ایک میں 1,200 ان پٹ اور 150 آؤٹ پٹ ٹوکن، 30% ہٹ ریٹ کے ساتھ، 3 کروڑ 60 لاکھ (36M) ان پٹ ٹوکن اور 45 لاکھ (4.5M) آؤٹ پٹ ٹوکن بچاتی ہیں۔ [DeepSeek V4.1 Flash](https://broadrouter.com/ur/models/deepseek-v4.1-flash/) پر یہ بالترتیب $0.175 اور $0.52 فی 1M پر بل ہوتے ہیں؛ اپنے اعداد [LLM API لاگت کیلکولیٹر](https://broadrouter.com/tools/llm-api-cost-calculator/) میں ڈالیں۔ اگر اس ان پٹ کا زیادہ تر حصہ پہلے ہی فراہم کنندہ کا کیش ہٹ تھا تو ان پٹ کی بچت کم کیش شدہ ریٹ پر ہوتی ہے (اسی ماڈل پر $0.0055 فی 1M)، اس لیے اکثر آؤٹ پٹ والا حصہ زیادہ اہم ہوتا ہے۔

## کیش کلید میں کیا جاتا ہے؟

وہ سب جو جواب بدل سکتا ہے، اور کچھ نہیں۔

-   **شامل کریں:** `model`، پوری `messages` فہرست (سسٹم پرامپٹ سمیت)، `temperature`، `top_p`، `max_tokens`، `seed`، `response_format`، `tools`، `tool_choice` اور `reasoning_effort`۔
-   **ایک پرامپٹ ورژن شامل کریں** جو آپ کے کنٹرول میں ہو، جیسے `faq-v3`۔ جب آپ پرامپٹ ٹیمپلیٹس، بازیافت کا ڈیٹا یا پوسٹ پروسیسنگ بدلیں، جو درخواست باڈی میں نظر نہیں آتی، تو اسے بڑھائیں۔
-   **باہر رکھیں** وہ سب جو ہر کال پر بدلتا ہے لیکن جواب نہیں بدلتا: درخواست IDs، ٹائم اسٹیمپس، ٹریس ہیڈرز، `user` فیلڈ جو آپ صرف غلط استعمال کی نگرانی کے لیے بھیجتے ہیں۔

کلید کا مواد ہر بار ایک ہی طرح سیریلائز کریں۔ Python کا `json.dumps`، `sort_keys=True` اور `separators=(",", ":")` کے ساتھ، ڈکشنری کی ترتیب سے قطع نظر ایک معیاری اسٹرنگ دیتا ہے؛ `ensure_ascii=False` عربی اور دوسرے غیر لاطینی متن کو ایسکیپس کے بجائے UTF-8 میں رکھتا ہے۔ اسے SHA-256 سے ہیش کریں۔

چھوٹا ہوا فیلڈ خطرناک غلطی ہے۔ اگر `max_tokens` کلید میں نہیں تو چھوٹی حد پر کٹا جواب اس درخواست کو دے دیا جائے گا جس نے لمبے جواب کی اجازت دی تھی۔

## کیش: SQLite، TTL اور اسکپ پالیسی

```python
import hashlib, json, sqlite3, time

# Every field that changes the answer belongs in the key.
KEY_FIELDS = ("model", "messages", "temperature", "top_p", "max_tokens", "seed",
              "response_format", "tools", "tool_choice", "reasoning_effort")

def cache_key(params: dict, prompt_version: str) -> str:
    material = {k: params[k] for k in KEY_FIELDS if k in params}
    material["prompt_version"] = prompt_version
    canon = json.dumps(material, sort_keys=True, separators=(",", ":"), ensure_ascii=False)
    return hashlib.sha256(canon.encode("utf-8")).hexdigest()

class ResponseCache:
    def __init__(self, path="llm_cache.sqlite", ttl_s=7 * 86400):
        self.db, self.ttl = sqlite3.connect(path), ttl_s
        self.db.execute("CREATE TABLE IF NOT EXISTS cache (k TEXT PRIMARY KEY, created REAL,"
                        " body TEXT, prompt_tokens INT, completion_tokens INT)")
        self.hits = self.misses = self.skips = self.saved_in = self.saved_out = 0

    def create(self, client, prompt_version: str, **params):
        if params.get("stream") or params.get("temperature", 1) > 0:
            self.skips += 1                       # not cacheable: call the model directly
            return client.chat.completions.create(**params)
        k = cache_key(params, prompt_version)
        row = self.db.execute("SELECT body, created, prompt_tokens, completion_tokens"
                              " FROM cache WHERE k = ?", (k,)).fetchone()
        if row and time.time() - row[1] < self.ttl:
            self.hits += 1; self.saved_in += row[2]; self.saved_out += row[3]
            return json.loads(row[0])             # a plain dict, not an SDK object
        self.misses += 1
        r = client.chat.completions.create(**params)
        choice = r.choices[0]
        if choice.finish_reason == "stop" and not choice.message.tool_calls:
            self.db.execute("INSERT OR REPLACE INTO cache VALUES (?, ?, ?, ?, ?)",
                            (k, time.time(), r.model_dump_json(),
                             r.usage.prompt_tokens, r.usage.completion_tokens))
            self.db.commit()
        return r.model_dump()
```

اور اس پر ایک رن:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
cache = ResponseCache("demo.sqlite", ttl_s=86400)
SYSTEM = {"role": "system", "content": "Answer questions about our refund policy in one sentence."}
questions = ["How long do refunds take?", "Can I refund a gift card?",
             "How long do refunds take?", "How long do refunds take?", "Can I refund a gift card?"]
for q in questions:
    r = cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0,
                     max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": q}])
    print(r["choices"][0]["message"]["content"])
# a personalised, sampled request is never cached
cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0.7,
             messages=[SYSTEM, {"role": "user", "content": "Write me a friendly reminder"}])
# a new prompt version is a new key
cache.create(client, "faq-v4", model="broadnet/deepseek-v4.1-flash", temperature=0,
             max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": "How long do refunds take?"}])
print(f"hits={cache.hits} misses={cache.misses} skipped={cache.skips} "
      f"saved_input={cache.saved_in} saved_output={cache.saved_out}")
```

ہم نے اسے OpenAI Python SDK 3.51.0 کے ساتھ ایک مقامی موک سرور پر چلایا، جو اپ اسٹریم کالز گنتا تھا اور ہر جواب پر 1,200 پرامپٹ اور 150 completion ٹوکن رپورٹ کرتا تھا (کوئی لائیو API کال نہیں)۔ سات درخواستوں نے چار اپ اسٹریم کالز کیں۔ اسکرپٹ نے `hits=3 misses=3 skipped=1 saved_input=3600 saved_output=450` چھاپا۔ اسی ڈیٹا بیس فائل پر دوبارہ چلانے پر کیش ہو سکنے والی تمام چھ درخواستیں ہٹ ہوئیں (`hits=6 misses=0`): SQLite ری اسٹارٹ کے بعد بھی کیش رکھتا ہے۔ مختلف ترتیب میں انہی فیلڈز سے بنی کلیدیں میچ ہوئیں۔

کوڈ پر نوٹس:

-   **`max_tokens=1200`** جواب سے پہلے ریزننگ کے لیے جگہ چھوڑتا ہے۔ چھوٹی حد پر ریزننگ ماڈل خالی جواب لوٹا سکتا ہے ([کیوں](https://broadrouter.com/ur/guides/reasoning-tokens-empty-response/))۔ ایسے جوابات محفوظ نہیں ہوتے، کیونکہ `finish_reason`، `stop` نہیں بلکہ `length` ہوتا ہے۔
-   **ہٹس ایک dict لوٹاتے ہیں۔** مِسز بھی `model_dump()` لوٹاتے ہیں، تاکہ کال کرنے والوں کو ایک ہی شکل ملے۔ اگر آپ کا کوڈ SDK آبجیکٹس کی توقع رکھتا ہے تو دونوں کو ریپ کریں۔
-   **`temperature` نہ دیا گیا ہو تو اسے سیمپل شدہ سمجھا جاتا ہے۔** تب سرور اپنا ڈیفالٹ لگاتا ہے، جو 0 سے اوپر ہو سکتا ہے، اس لیے ریپر تب تک کیش نہیں کرتا جب تک آپ واضح طور پر 0 سیٹ نہ کریں۔
-   **SQLite ایک یا چند پروسیسز کے لیے موزوں ہے۔** کئی سرورز کے لیے وہی کلید اور TTL منطق Redis یا اپنے ڈیٹا بیس میں رکھیں۔

## کیش سے کبھی کیا نہیں دینا چاہیے؟

-   **سیمپل کیے گئے جوابات (temperature 0 سے اوپر)۔** آپ نے تنوع چنا تھا۔ کیشنگ اسے ختم کر دیتی ہے، اور “regenerate” دبانے والے صارف کو وہی متن ملتا ہے۔
-   **ذاتی جوابات**، جب تک صارف ID کلید میں نہ ہو۔ “summarise my account” بھیجنے والے دو صارفین کے اکاؤنٹس الگ ہیں۔ بہتر: صرف وہ درخواستیں کیش کریں جن کے پیغامات میں ہر صارف کا الگ ڈیٹا نہ ہو۔
-   **ٹول کالز۔** [ٹول کال](https://broadrouter.com/ur/glossary/tool-calling/) کچھ کرنے کی ہدایت ہے۔ اسٹوریج سے “refund order 1182” دوبارہ چلانے سے سائیڈ ایفیکٹ دہرایا جا سکتا ہے، اور درست اگلا قدم موجودہ حالت پر منحصر ہے۔ ریپر `tool_calls` والا کوئی بھی جواب محفوظ کرنے سے انکار کرتا ہے۔
-   **اسٹریم کیے گئے جوابات۔** ریپر `stream=True` پر کیش کو بائی پاس کرتا ہے۔ اسٹریم کیش کرنے کا مطلب ہے اسے بفر کرنا، جانچنا کہ وہ مکمل ہوئی، اور دوبارہ چلانا، جو چیٹ UIs کے لیے شاذ ہی فائدہ مند ہے۔
-   **کٹے یا ناکام جوابات۔** صرف `finish_reason == "stop"` محفوظ کریں۔ ایک ہفتے کے لیے کیش ہوا کٹا جواب یا ایرر ایسا بگ ہے جو ماڈل کا مسئلہ لگتا ہے۔
-   **وقت پر منحصر جوابات۔** “آج کا ایکسچینج ریٹ کیا ہے؟” کو چھوٹا TTL چاہیے یا کوئی کیش نہیں۔

جو اچھی طرح کیش ہوتا ہے: ان پٹس کے مقررہ سیٹ کی کلاسیفکیشن، ان دستاویزات سے ایکسٹریکشن جنہیں آپ دوبارہ پروسیس کرتے ہیں، مقررہ پرامپٹ سے FAQ جوابات، ٹیسٹ سویٹس اور evals جو آپ دوبارہ چلاتے ہیں، اور ڈیولپمنٹ لوپس جہاں آپ ایک ہی درخواست بار بار بھیجتے ہیں۔

## کیش شدہ جوابات کی میعاد کب ختم ہونی چاہیے؟

تین طرح سے کالعدم کریں:

1.  **TTL۔** ہر اندراج کی مدت: مستحکم FAQ جوابات کے لیے دن، لائیو ڈیٹا پڑھنے والی کسی بھی چیز کے لیے منٹ۔
2.  **کلید میں ورژن۔** جب سسٹم پرامپٹ، بازیافت کا انڈیکس یا آؤٹ پٹ اسکیما بدلے تو پرامپٹ ورژن بدلیں۔ پرانے اندراجات میچ ہونا بند کر دیتے ہیں اور وقت کے ساتھ ختم ہو جاتے ہیں۔
3.  **کلید میں ماڈل۔** یہ پہلے سے موجود ہے، اس لیے ایک ماڈل سے دوسرے پر جانے سے نیا کیش شروع ہوتا ہے، جو [تبدیلی کی جانچ](https://broadrouter.com/ur/blog/evaluate-llm-before-switching/) کے دوران آپ چاہتے بھی ہیں۔

میعاد گزری قطاریں مقررہ وقت پر حذف کریں (`DELETE FROM cache WHERE created < ?`)۔ ورنہ فائل بس بڑھتی جاتی ہے۔

ایک اضافی فائدہ بھی ہے۔ سرونگ انجن یکساں ان پٹ پر یکساں آؤٹ پٹ کا وعدہ نہیں کرتے: vLLM کی دستاویزات کہتی ہیں کہ یہ “does not guarantee the reproducibility of the results by default” (ترجمہ: بطور ڈیفالٹ نتائج کے دہرائے جا سکنے کی ضمانت نہیں دیتا)۔ کیش اندراج کی مدت تک ہر صارف کو ایک ہی سوال کا ایک ہی جواب دیتا ہے۔

## سیمینٹک کیشنگ کا کیا؟

سیمینٹک کیش ہر سوال کو ایمبیڈ کرتا ہے اور جب نیا سوال کافی قریب ہو تو محفوظ جواب لوٹاتا ہے، تاکہ “how long is a refund?” بھی “how long do refunds take?” سے ہٹ ہو سکے۔ GPTCache سب سے مشہور اوپن سورس مثال ہے۔ اس کا README کہتا ہے کہ وہ مماثلت کی تلاش کے لیے ویکٹر اسٹور اور ہٹ طے کرنے کے لیے مماثلت جانچنے والا استعمال کرتا ہے، خبردار کرتا ہے کہ “you may encounter false positives during cache hits and false negatives during cache misses” (ترجمہ: کیش ہٹس میں غلط مثبت اور کیش مِسز میں غلط منفی سامنے آ سکتے ہیں)، اور بتاتا ہے کہ ایمبیڈنگز بند کرنے پر یہ کی ورڈ میچنگ کیش بن جاتا ہے۔

دو عملی نکات۔ پہلا، اس کے لیے ایک [ایمبیڈنگز](https://broadrouter.com/ur/glossary/embeddings/) ماڈل اور ویکٹر اسٹور چاہیے۔ BroadNet Inference ایمبیڈنگز نہیں دیتا، اس لیے اس تہ کے لیے آپ کو دوسرا فراہم کنندہ یا مقامی ماڈل استعمال کرنا ہو گا؛ [ایمبیڈنگ لاگت کیلکولیٹر](https://broadrouter.com/tools/embedding-cost-calculator/) آپشنز کی قیمت نکالتا ہے۔ دوسرا، غلط ہٹ کسی دوسرے سوال کا پورے یقین والا جواب لوٹاتا ہے۔ سخت مماثلت کی حد رکھیں، اسے اصل تقریباً ملتے جلتے جوڑوں پر ٹیسٹ کریں، اور سیمینٹک کیشنگ کم خطرے والے جوابات کے لیے رکھیں۔ دونوں صورتوں میں ایگزیکٹ کیش آگے رکھیں: اسے جانچنے میں کوئی خرچ نہیں، اور وہ پوچھے گئے سوال کے بارے میں کبھی غلط نہیں ہوتا۔

## پرائیویسی کے لیے کیش کا کیا مطلب ہے؟

کیش پرامپٹس اور جوابات کا ذخیرہ ہے۔ اس سے بدلتا ہے کہ آپ کا ڈیٹا کہاں رہتا ہے۔

BroadNet کا [انفرنس پرائیویسی بیان](https://www.broadnet.ai/inference-privacy)، 2026-11-15 کو جانچا گیا، کہتا ہے کہ اس کا گیٹ وے کوئی پرامپٹس، پیغامات، جوابات یا ٹرانسکرپٹس نہیں رکھتا، جبکہ بغیر مواد کے ٹریفک اور usage ریکارڈز (ٹوکن گنتی، لاگت، اوقات) رکھے جاتے ہیں۔ انفرنس کا مواد محفوظ نہیں رکھا جاتا۔ ضروری اکاؤنٹ، بلنگ اور سیکیورٹی میٹا ڈیٹا اس بیان میں بتائے گئے طریقے سے رکھا جاتا ہے۔ ریسپانس کیش شامل کرتے ہی آپ کا سسٹم وہ مواد رکھتا ہے جو فراہم کنندہ نہیں رکھتا۔ اسے صارف ڈیٹا کے کسی بھی دوسرے ذخیرے کی طرح برتیں:

-   جہاں ممکن ہو، صرف بغیر ذاتی ڈیٹا والی درخواستیں کیش کریں، جس سے ہٹ ریٹ بھی بڑھتا ہے۔
-   TTL اتنا چھوٹا رکھیں کہ آپ کی ریٹینشن پالیسی میں فٹ ہو، اور مقررہ وقت پر حذف کریں۔
-   فائل یا ٹیبل کو اسٹوریج میں انکرپٹ کریں اور محدود کریں کہ کون اسے پڑھ سکتا ہے۔
-   اگر کیش میں صارف کا متن ہو سکتا ہے تو ڈیٹا حذف کرنے کی درخواستوں میں اسے بھی شامل کریں۔

[LLM API کو حساس ڈیٹا بھیجنا](https://broadrouter.com/ur/blog/llm-api-sensitive-data/) اس چیک لسٹ کا باقی حصہ کور کرتا ہے۔

## کیشنگ دوسرے لاگت کنٹرولز کے ساتھ کیسے فٹ ہوتی ہے؟

کیشنگ دہرائی گئی کالز ہٹاتی ہے۔ منفرد کالز کے لیے یہ کچھ نہیں کرتی، اس لیے یہ دوسرے کنٹرولز کی جگہ نہیں، ان کے ساتھ رہتی ہے: [مختصر پرامپٹس](https://broadrouter.com/ur/blog/reduce-prompt-tokens/)، فراہم کنندہ کی پرامپٹ کیشنگ، ہر درخواست پر `max_tokens` کی حد، اور [LLM API خرچ کنٹرول](https://broadrouter.com/ur/blog/llm-api-spend-control/) والے بجٹ اور لوپ کی حدیں۔ بڑی ایک بار کی جابز کے لیے، بھیجنے سے پہلے ان پٹس سے ڈپلیکیٹس ہٹائیں؛ یہ کیش والا ہی خیال ہے، ایک بار کیا ہوا۔ [Batch API کے بغیر بڑی جاب پروسیس کرنا](https://broadrouter.com/ur/blog/llm-batch-processing-without-batch-api/) جاب والا پہلو دکھاتا ہے۔

مقررہ قیمت پلان پر حساب بدل جاتا ہے۔ BroadNet کے DeepSeek سیشنز میں کوئی ٹوکن میٹر نہیں، اس لیے وہاں کیش ہٹ سے پیسے نہیں بچتے۔ پھر بھی وقت بچتا ہے: سیشن ایک وقت میں ایک درخواست چلاتا ہے، اس لیے ہر چھوڑا گیا دہراؤ سیشن کو نئے کام کے لیے فارغ کرتا ہے۔

## BroadNet Inference کہاں فٹ ہوتا ہے

BroadRouter، BroadNet کی اپنی سائٹ ہے۔ BroadNet Inference، DeepSeek V4.1 Flash، GLM 5.3، Qwen3.8 27B اور Gemma 4 VL 26B کو ایک OpenAI سے مطابقت رکھنے والے `/v1/chat/completions` اینڈپوائنٹ کے پیچھے دیتا ہے، اس لیے اوپر کا ریپر صرف base URL بدل کر [OpenAI Python SDK](https://broadrouter.com/ur/guides/openai-python-sdk/) کے ساتھ کام کرتا ہے۔ اس میں اپنی کوئی ریسپانس کیشنگ سہولت نہیں؛ اس پوسٹ کا کیش آپ کا ہے۔ فراہم کنندہ کی طرف کے کیش ہٹس `usage.prompt_tokens_details.cached_tokens` میں رپورٹ ہوتے ہیں اور کیش شدہ ان پٹ قیمت پر بل ہوتے ہیں، اس کے [API ریفرنس](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-cache-llm-responses-cut-cost&utm_content=body) کے مطابق۔ ہر ماڈل کی قیمتیں [قیمتوں کے صفحے](https://inference.broadnet.ai/pricing?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-cache-llm-responses-cut-cost&utm_content=body) پر ہیں۔

اس موضوع کے مفت ٹولز (انگریزی میں)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[مفت ٹولز (انگریزی میں)](https://broadrouter.com/tools/)

## اس مضمون کی اصطلاحات

[ٹوکن (token)](https://broadrouter.com/ur/glossary/token/)

ٹوکن متن کی وہ اکائی ہے جسے لینگویج ماڈل پڑھتا اور لکھتا ہے: کوئی لفظ، لفظ کا حصہ، رموزِ اوقاف کی کوئی علامت یا بائٹس کا سلسلہ، جو ماڈل کا ٹوکنائزر بناتا ہے۔ LLM API استعمال کو ٹوکنز میں گنتے ہیں، انہی میں حدیں لگاتے ہیں اور عموماً بل بھی بناتے ہیں۔

[کیش شدہ ان پٹ ٹوکن (cached input tokens)](https://broadrouter.com/ur/glossary/cached-input-tokens/)

کیش شدہ ان پٹ ٹوکن وہ پرامپٹ ٹوکن ہیں جنہیں LLM فراہم کنندہ نے حال ہی میں پروسیس کیا ہو اور دوبارہ حساب کرنے کے بجائے کیش سے پھر استعمال کر سکے، عموماً سسٹم پرامپٹ یا دستاویز جیسا دہرایا گیا پریفکس۔ فراہم کنندگان ان کا بل نئے ان پٹ ٹوکنز سے کم شرح پر بناتے ہیں۔

[ایمبیڈنگز (embeddings)](https://broadrouter.com/ur/glossary/embeddings/)

ایمبیڈنگز فلوٹنگ پوائنٹ اعداد کی فہرستیں (ویکٹرز) ہیں جو کوئی ماڈل متن، تصویر یا دوسرے ان پٹ کی نمائندگی کے لیے بناتا ہے۔ ملتے جلتے معنی والے ان پٹس کے ویکٹرز ایک دوسرے کے قریب ہوتے ہیں، اس لیے ویکٹرز کا فاصلہ سرچ نتائج کی درجہ بندی، دستاویزات کی گروہ بندی یا متعلقہ چیزوں کی تلاش میں کام آتا ہے۔

[ان پٹ اور آؤٹ پٹ ٹوکن (input and output tokens)](https://broadrouter.com/ur/glossary/input-and-output-tokens/)

ان پٹ ٹوکن وہ ٹوکن ہیں جو لینگویج ماڈل کسی درخواست میں پڑھتا ہے، جن میں سسٹم پرامپٹ، گفتگو کی تاریخ، ٹول ڈیفینیشنز اور تصاویر شامل ہیں۔ آؤٹ پٹ ٹوکن وہ ہیں جو وہ جواب میں بناتا ہے، ریزننگ سمیت۔ LLM API عموماً دونوں کی قیمت الگ رکھتے ہیں، اور آؤٹ پٹ عموماً مہنگا ہوتا ہے۔

[ٹول کالنگ (tool calling)](https://broadrouter.com/ur/glossary/tool-calling/)

ٹول کالنگ، جسے function calling بھی کہتے ہیں، LLM API کی وہ سہولت ہے جس میں ماڈل ڈویلپر کے طے کردہ کسی فنکشن کو چلانے کی ایک منظم درخواست، JSON آرگیومنٹس کے ساتھ، لوٹاتا ہے۔ ایپلیکیشن فنکشن چلا کر نتیجہ واپس بھیجتی ہے؛ ماڈل خود کبھی کوڈ نہیں چلاتا۔

[ٹمپریچر (temperature)](https://broadrouter.com/ur/glossary/temperature/)

ٹمپریچر ایک سیمپلنگ پیرامیٹر ہے جو طے کرتا ہے کہ لینگویج ماڈل کا آؤٹ پٹ کتنا رینڈم ہوگا۔ ماڈل اپنے ٹوکن اسکورز کو احتمالات میں بدلنے سے پہلے ٹمپریچر سے تقسیم کرتا ہے: کم قدر پر سب سے ممکنہ ٹوکن غالب رہتا ہے، زیادہ قدر پر تقسیم ہموار ہو جاتی ہے اور کم ممکنہ ٹوکن زیادہ بار چنے جاتے ہیں۔

[سسٹم پرامپٹ (system prompt)](https://broadrouter.com/ur/glossary/system-prompt/)

سسٹم پرامپٹ وہ ہدایتی متن ہے جو کوئی ایپلیکیشن گفتگو سے پہلے لینگویج ماڈل کو بھیجتی ہے، عموماً system یا developer رول والے پیغام کے طور پر۔ یہ ماڈل کا کردار، قواعد، لہجہ اور آؤٹ پٹ فارمیٹ طے کرتا ہے، اور ٹکراؤ کی صورت میں ماڈل کو صارف کے پیغامات کے بجائے اسی پر عمل کرنا ہوتا ہے۔

[ویکٹر ڈیٹابیس (vector database)](https://broadrouter.com/ur/glossary/vector-database/)

ویکٹر ڈیٹابیس ایک ڈیٹا اسٹور ہے جو embedding ویکٹرز، اکثر ان کے سورس متن اور میٹا ڈیٹا کے ساتھ، رکھتا ہے اور nearest-neighbour کوئریز کا جواب دیتا ہے: کوئری ویکٹر ملنے پر یہ سب سے ملتے جلتے محفوظ ویکٹرز لوٹاتا ہے، عموماً cosine فاصلے، Euclidean فاصلے یا inner product سے۔

## عام سوالات

### پرامپٹ کیشنگ اور ریسپانس کیشنگ میں کیا فرق ہے؟

پرامپٹ کیشنگ فراہم کنندہ کرتا ہے: دہرایا گیا پرامپٹ پری فکس کم کیش شدہ ان پٹ قیمت پر بل ہوتا ہے، اور ماڈل پھر بھی نیا جواب لکھتا ہے۔ ریسپانس کیشنگ آپ کرتے ہیں: آپ پورا جواب محفوظ کرتے ہیں اور یکساں درخواست پر ماڈل کو کال کیے بغیر وہی لوٹا دیتے ہیں۔

### کیا temperature 0 پر LLM جوابات کیش کرنے چاہییں؟

جی ہاں، اگر درخواست کا کوئی سائیڈ ایفیکٹ نہیں اور اسے بھیجنے والے ہر شخص کے لیے ایک ہی جواب قابلِ قبول ہے۔ temperature 0 ویسے بھی سرونگ انجن سے ہوبہو یکساں آؤٹ پٹ کی ضمانت نہیں دیتا، اس لیے کیش جواب کو یکساں بھی بناتا ہے۔ temperature 0 سے اوپر ہو یا نہ دیا گیا ہو تو کیش نہ کریں۔

### LLM ریسپانس کیشنگ سے کتنی بچت ہوتی ہے؟

آپ کی میعاد کی ونڈو کے اندر ہوبہو دہرائی گئی درخواستوں کا حصہ، ضرب ان درخواستوں کی لاگت۔ یہ حصہ جاننے کے لیے اپنے لاگز میں دہرائے گئے درخواست ہیش گنیں۔ کھلی گفتگو والی چیٹ میں یہ تقریباً صفر اور مقررہ FAQ یا کلاسیفکیشن ان پٹس میں اونچا ہو سکتا ہے۔

### کیا سیمینٹک کیشنگ، ایگزیکٹ میچ کیشنگ سے بہتر ہے؟

یہ زیادہ بار ہٹ ہوتی ہے، کیونکہ ملتے جلتے سوال میچ ہو جاتے ہیں، لیکن یہ کسی دوسرے سوال کا جواب لوٹا سکتی ہے۔ اس کے لیے ایمبیڈنگز ماڈل اور ویکٹر اسٹور بھی چاہیے۔ ایگزیکٹ کیش سے شروع کریں، اور سیمینٹک تہ صرف وہاں شامل کریں جہاں غلط ہٹ کا نقصان کم ہو۔

### کیا اسٹریم کیے گئے جوابات کیش کر سکتے ہیں؟

یہاں کے سادہ ریپر سے نہیں۔ آپ کو پوری اسٹریم جمع کرنی ہو گی، جانچنا ہو گا کہ وہ معمول کے مطابق ختم ہوئی، اسے محفوظ کرنا ہو گا، اور بعد میں اسٹریم کی طرح دوبارہ چلانا ہو گا۔ زیادہ تر ٹیمیں صرف بغیر اسٹریم والی کالز کیش کرتی ہیں، جیسے کلاسیفکیشن، ایکسٹریکشن اور FAQ جوابات۔

## مزید پڑھیں

-   [کیش شدہ ان پٹ ٹوکن کیا ہیں: LLM API کا بل کیسے کم کریں](https://broadrouter.com/ur/blog/cached-input-tokens-explained/)
-   [پرامپٹ کی ساخت کیسے بنائیں تاکہ پری فکس کیش ہو](https://broadrouter.com/ur/blog/prompt-structure-for-caching/)
-   [LLM API خرچ پر کنٹرول: بجٹ، کلید کی حدیں اور لوپ سے بچاؤ](https://broadrouter.com/ur/blog/llm-api-spend-control/)
-   [پرامپٹ ٹوکن کیسے کم کریں: سسٹم پرامپٹ، ٹولز، ڈیٹا کی ناپی گئی کٹوتی](https://broadrouter.com/ur/blog/reduce-prompt-tokens/)
-   [LLM API usage لاگنگ: ہر صارف اور فیچر کی لاگت، PII ہٹا کر](https://broadrouter.com/ur/blog/llm-api-usage-logging/)
-   [Batch API کے بغیر LLM بیچ پروسیسنگ: دوبارہ شروع ہونے والا runner](https://broadrouter.com/ur/blog/llm-batch-processing-without-batch-api/)
-   [BroadNet کا GPU ہارڈویئر اور سروِنگ کا طریقہ، BroadNet کی زبانی](https://broadrouter.com/ur/blog/broadnet-gpu-fleet-and-serving/)
-   [دستاویزی AI ورک فلو میں انسانی جائزے کو شامل کریں](https://broadrouter.com/ur/blog/document-review-queues/)
-   [گائیڈ: BroadNet Inference کے ساتھ OpenAI Python SDK استعمال کریں](https://broadrouter.com/ur/guides/openai-python-sdk/)
-   [گائیڈ: ریزننگ ماڈل خالی جواب کیوں لوٹاتا ہے](https://broadrouter.com/ur/guides/reasoning-tokens-empty-response/)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-cache-llm-responses-cut-cost&utm_content=page-cta) ·

**ذرائع**

-   [BroadNet Inference کا API ریفرنس: ریزننگ max\_tokens میں شمار ہوتی ہے، ریزننگ اور کیش شدہ ٹوکنز کے usage فیلڈز، استعمال کے مطابق ادائیگی کی حدیں (2026-11-15 کو جانچا گیا) (انگریزی میں)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-cache-llm-responses-cut-cost&utm_content=sources)
-   [BroadNet انفرنس پرائیویسی بیان: کوئی پرامپٹس، پیغامات، جوابات یا ٹرانسکرپٹس محفوظ نہیں؛ بغیر مواد کے ٹریفک اور usage ریکارڈز رکھے جاتے ہیں (2026-11-15 کو جانچا گیا) (انگریزی میں)](https://www.broadnet.ai/inference-privacy)
-   [GitHub پر GPTCache: ایمبیڈنگز اور مماثلت جانچنے والے کے ساتھ سیمینٹک کیش، غلط مثبت اور غلط منفی، ایمبیڈنگز کے بغیر کی ورڈ میچنگ موڈ (2026-11-15 کو جانچا گیا)](https://github.com/zilliztech/GPTCache)
-   [vLLM کی دستاویزات، Reproducibility: "vLLM does not guarantee the reproducibility of the results by default" (2026-11-15 کو جانچا گیا)](https://docs.vllm.ai/en/latest/usage/reproducibility.html)
-   [Python کی دستاویزات، json ماڈیول: json.dumps میں sort\_keys، separators اور ensure\_ascii (2026-11-15 کو جانچا گیا)](https://docs.python.org/3/library/json.html)
