---
title: "Cache respons API LLM untuk jimat kos (Python, SQLite)"
description: "Cache padanan tepat yang diuji untuk respons API LLM dalam Python: isi kunci, apa yang tidak boleh di-cache, TTL, privasi dan cara mengukur kadar hit dahulu."
url: https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/cache-llm-responses-cut-cost/) (dikemas kini 2026-11-15).

# Cache respons API LLM untuk jimat kos: cache padanan tepat Python

Oleh pasukan BroadNet Inference · 8 minit bacaan · Diterbitkan 2026-11-15

Hash keseluruhan permintaan (model, messages, temperature, max\_tokens, response\_format, tools, tetapan penaakulan dan versi prompt anda) menjadi kunci, dan simpan jawapan di bawahnya dengan tempoh luput. Pulangkan jawapan yang disimpan hanya untuk permintaan deterministik tanpa kesan sampingan. Ukur dahulu dalam log anda betapa kerap permintaan yang sama berulang: bahagian itulah penjimatan maksimum cache padanan tepat.

## Perkara utama

-   Cache padanan tepat menjimatkan keseluruhan panggilan, termasuk token output dan penaakulan, tetapi hanya untuk permintaan yang sama byte demi byte. Soalan yang diolah semula sentiasa terlepas.
-   Masukkan setiap parameter yang mengubah jawapan ke dalam kunci, ditambah versi prompt. Tertinggal satu menyebabkan jawapan salah dipulangkan; menambah gangguan seperti cap masa menyebabkan setiap permintaan terlepas.
-   Jangan cache jawapan bersampel (temperature melebihi 0), jawapan yang distrim, panggilan alat, atau jawapan yang terpotong pada max\_tokens.
-   Ukur dahulu: hash setiap permintaan dalam log penggunaan anda dan kira ulangan. Angka penjimatan yang diterbitkan tidak memberitahu apa-apa tentang trafik anda.
-   Cache menyimpan prompt dan jawapan. Jika penyedia anda tidak menyimpan kandungan inferens, cache kini menjadi tempat kandungan itu berada, jadi berikan ia TTL dan peraturan akses.

**Dalam halaman ini**

1.  Adakah response caching sama dengan prompt caching?
2.  Adakah cache benar-benar menjimatkan wang anda?
3.  Apakah yang dimasukkan ke dalam kunci cache?
4.  Cache: SQLite, TTL dan dasar langkau
5.  Apakah yang tidak boleh sekali-kali dilayan daripada cache?
6.  Bilakah jawapan yang di-cache patut luput?
7.  Bagaimana pula dengan cache semantik?
8.  Apakah maksud cache untuk privasi?
9.  Bagaimanakah cache sesuai dengan kawalan kos yang lain?
10.  Di manakah BroadNet Inference sesuai

Setiap permintaan LLM yang sama yang anda hantar dua kali dibayar dua kali. Cache respons menyimpan jawapan pada kali pertama dan memulangkannya pada kali seterusnya, tanpa token dibilkan dan tanpa menunggu. Ideanya mudah. Bahagian sukarnya ialah menentukan apa yang menjadikan dua permintaan “sama”, permintaan mana yang tidak boleh sekali-kali dilayan daripada storan, dan sama ada trafik anda cukup berulang untuk memberi kesan.

Artikel ini membina cache padanan tepat yang kecil dalam Python di atas SQLite, diuji terhadap pelayan olok-olok yang serasi OpenAI, dan menunjukkan cara mengukur kadar hit daripada log anda sebelum anda menulis apa-apa.

## Adakah response caching sama dengan prompt caching?

Tidak. Kedua-duanya menjimatkan perkara yang berbeza, dan anda boleh menggunakan kedua-duanya.

|  | Prompt caching (penyedia) | Response caching (anda) |
| --- | --- | --- |
| Apa yang digunakan semula | Permulaan prompt yang berulang | Keseluruhan jawapan |
| Siapa yang menjalankannya | Penyedia API | Kod anda |
| Model masih berjalan? | Ya, menulis jawapan baharu | Tidak |
| Apa yang dijimatkan | Sebahagian kos input | Token input, output dan penaakulan, ditambah kependaman |
| Bila ia kena | Prefix dikongsi, soalan berbeza | Permintaan yang sama tepat |

[Token input cache](https://broadrouter.com/ms/blog/cached-input-tokens-explained/) menerangkan pihak penyedia, dan [struktur prompt untuk cache](https://broadrouter.com/ms/blog/prompt-structure-for-caching/) menunjukkan cara menyusun prompt supaya prefix digunakan semula. [Kalkulator prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/) mengira harganya. Cache respons duduk di hadapan semua itu: apabila kena, tiada permintaan keluar dari pelayan anda.

## Adakah cache benar-benar menjimatkan wang anda?

Ukur sebelum membina. Peratusan penjimatan kos dalam banyak tutorial cache datang daripada trafik orang lain. Angka anda bergantung pada satu perkara: betapa kerap permintaan yang sama tiba semula dalam tetingkap luput anda.

Jika anda sudah melog setiap panggilan, seperti dalam [log penggunaan API LLM](https://broadrouter.com/ms/blog/llm-api-usage-logging/), tambah satu medan: `request_hash`, kunci cache yang diterangkan di bawah. Ia tidak menyimpan teks prompt, jadi ia sesuai untuk log yang tidak menyimpan kandungan. Kemudian kira ulangan:

```python
import json
from collections import Counter

def potential_hit_rate(log_path: str) -> float:
    """Share of calls whose request_hash was already seen: an upper bound for an exact cache."""
    hashes = [json.loads(line)["request_hash"] for line in open(log_path)]
    seen, repeats = set(), 0
    for h in hashes:
        repeats += h in seen
        seen.add(h)
    print("top repeated requests:", Counter(hashes).most_common(3))
    return repeats / len(hashes) if hashes else 0.0

print(f"potential hit rate: {potential_hit_rate('calls.jsonl'):.1%}")
```

Pada log sintetik 20 panggilan, satu permintaan lima kali, satu lagi tiga kali dan dua belas yang unik, ia mencetak potensi kadar hit 30.0%. Itu had atas: ia mengabaikan tempoh luput, dan menganggap setiap ulangan selamat dilayan daripada storan.

Kemudian tukar kadar itu kepada wang:

```text
monthly saving = hit rate × requests per month
                 × (input tokens × input price + output tokens × output price) ÷ 1,000,000
```

Token output termasuk penaakulan. Dokumentasi BroadNet menyatakan DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B menaakul sebelum menjawab dan penaakulan dikira dalam `max_tokens`, jadi satu hit menjimatkan token yang tidak pernah anda lihat dalam jawapan. Ambil `completion_tokens` daripada `usage` yang dilog, bukan panjang jawapan.

Contoh pengiraan dalam token: 100,000 permintaan sebulan dengan 1,200 token input dan 150 token output setiap satu, dengan kadar hit 30%, mengelakkan 36 juta token input dan 4.5 juta token output. Pada [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/), token itu dibilkan pada $0.175 dan $0.52 bagi setiap 1M masing-masing; masukkan angka anda sendiri ke dalam [kalkulator kos API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/). Jika sebahagian besar input itu sudah pun cache hit penyedia, penjimatan input berada pada kadar cache yang lebih rendah ($0.0055 bagi setiap 1M pada model yang sama), jadi bahagian output selalunya yang lebih penting.

## Apakah yang dimasukkan ke dalam kunci cache?

Semua yang boleh mengubah jawapan, dan tiada yang lain.

-   **Masukkan:** `model`, keseluruhan senarai `messages` (termasuk system prompt), `temperature`, `top_p`, `max_tokens`, `seed`, `response_format`, `tools`, `tool_choice` dan `reasoning_effort`.
-   **Tambah versi prompt** yang anda kawal, seperti `faq-v3`. Naikkannya apabila anda mengubah templat prompt, data pengambilan atau pasca-pemprosesan yang tidak ditunjukkan oleh badan permintaan.
-   **Tinggalkan** apa-apa yang berubah setiap panggilan tanpa mengubah jawapan: ID permintaan, cap masa, pengepala jejak, medan `user` yang anda hantar hanya untuk penjejakan penyalahgunaan.

Siri bahan kunci dengan cara yang sama setiap kali. `json.dumps` Python dengan `sort_keys=True` dan `separators=(",", ":")` memberi satu rentetan kanonik tanpa mengira urutan kamus; `ensure_ascii=False` mengekalkan teks Arab dan teks bukan Latin lain sebagai UTF-8 dan bukannya escape. Hash dengan SHA-256.

Medan yang tertinggal ialah kesilapan yang berbahaya. Jika `max_tokens` tiada dalam kunci, jawapan yang terpotong di bawah had kecil akan dilayan kepada permintaan yang membenarkan jawapan panjang.

## Cache: SQLite, TTL dan dasar langkau

```python
import hashlib, json, sqlite3, time

# Every field that changes the answer belongs in the key.
KEY_FIELDS = ("model", "messages", "temperature", "top_p", "max_tokens", "seed",
              "response_format", "tools", "tool_choice", "reasoning_effort")

def cache_key(params: dict, prompt_version: str) -> str:
    material = {k: params[k] for k in KEY_FIELDS if k in params}
    material["prompt_version"] = prompt_version
    canon = json.dumps(material, sort_keys=True, separators=(",", ":"), ensure_ascii=False)
    return hashlib.sha256(canon.encode("utf-8")).hexdigest()

class ResponseCache:
    def __init__(self, path="llm_cache.sqlite", ttl_s=7 * 86400):
        self.db, self.ttl = sqlite3.connect(path), ttl_s
        self.db.execute("CREATE TABLE IF NOT EXISTS cache (k TEXT PRIMARY KEY, created REAL,"
                        " body TEXT, prompt_tokens INT, completion_tokens INT)")
        self.hits = self.misses = self.skips = self.saved_in = self.saved_out = 0

    def create(self, client, prompt_version: str, **params):
        if params.get("stream") or params.get("temperature", 1) > 0:
            self.skips += 1                       # not cacheable: call the model directly
            return client.chat.completions.create(**params)
        k = cache_key(params, prompt_version)
        row = self.db.execute("SELECT body, created, prompt_tokens, completion_tokens"
                              " FROM cache WHERE k = ?", (k,)).fetchone()
        if row and time.time() - row[1] < self.ttl:
            self.hits += 1; self.saved_in += row[2]; self.saved_out += row[3]
            return json.loads(row[0])             # a plain dict, not an SDK object
        self.misses += 1
        r = client.chat.completions.create(**params)
        choice = r.choices[0]
        if choice.finish_reason == "stop" and not choice.message.tool_calls:
            self.db.execute("INSERT OR REPLACE INTO cache VALUES (?, ?, ?, ?, ?)",
                            (k, time.time(), r.model_dump_json(),
                             r.usage.prompt_tokens, r.usage.completion_tokens))
            self.db.commit()
        return r.model_dump()
```

Dan larian terhadapnya:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
cache = ResponseCache("demo.sqlite", ttl_s=86400)
SYSTEM = {"role": "system", "content": "Answer questions about our refund policy in one sentence."}
questions = ["How long do refunds take?", "Can I refund a gift card?",
             "How long do refunds take?", "How long do refunds take?", "Can I refund a gift card?"]
for q in questions:
    r = cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0,
                     max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": q}])
    print(r["choices"][0]["message"]["content"])
# a personalised, sampled request is never cached
cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0.7,
             messages=[SYSTEM, {"role": "user", "content": "Write me a friendly reminder"}])
# a new prompt version is a new key
cache.create(client, "faq-v4", model="broadnet/deepseek-v4.1-flash", temperature=0,
             max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": "How long do refunds take?"}])
print(f"hits={cache.hits} misses={cache.misses} skipped={cache.skips} "
      f"saved_input={cache.saved_in} saved_output={cache.saved_out}")
```

Kami menjalankan ini dengan SDK Python OpenAI 3.51.0 terhadap pelayan olok-olok setempat yang mengira panggilan huluan dan melaporkan 1,200 token prompt dan 150 token completion setiap jawapan (tiada panggilan API langsung). Tujuh permintaan membuat empat panggilan huluan. Skrip itu mencetak `hits=3 misses=3 skipped=1 saved_input=3600 saved_output=450`. Apabila dijalankan semula pada fail pangkalan data yang sama, kesemua enam permintaan yang boleh di-cache adalah hit (`hits=6 misses=0`): SQLite mengekalkan cache merentas permulaan semula. Kunci yang dibina daripada medan yang sama dalam urutan berbeza sepadan.

Nota tentang kod:

-   **`max_tokens=1200`** meninggalkan ruang untuk penaakulan sebelum jawapan. Dengan had yang kecil, model penaakulan boleh memulangkan jawapan kosong ([mengapa](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)). Jawapan itu tidak disimpan, kerana `finish_reason` ialah `length`, bukan `stop`.
-   **Hit memulangkan dict.** Miss juga memulangkan `model_dump()`, jadi pemanggil melihat satu bentuk. Jika kod anda menjangkakan objek SDK, balut kedua-duanya.
-   **`temperature` yang tiada dianggap bersampel.** Pelayan kemudian menggunakan lalainya sendiri, yang mungkin melebihi 0, jadi pembalut melangkau cache melainkan anda menetapkan 0 secara eksplisit.
-   **SQLite sesuai untuk satu atau beberapa proses.** Untuk beberapa pelayan, letakkan logik kunci dan TTL yang sama dalam Redis atau pangkalan data anda.

## Apakah yang tidak boleh sekali-kali dilayan daripada cache?

-   **Jawapan bersampel (temperature melebihi 0).** Anda memilih kepelbagaian. Cache menghapuskannya, dan pengguna yang menekan “regenerate” mendapat teks yang sama.
-   **Jawapan yang diperibadikan** melainkan ID pengguna ada dalam kunci. Dua pengguna yang menghantar “summarise my account” mempunyai akaun yang berbeza. Lebih baik: cache hanya permintaan yang mesejnya tidak mengandungi data khusus pengguna.
-   **Panggilan alat.** [Panggilan alat](https://broadrouter.com/ms/glossary/tool-calling/) ialah arahan untuk bertindak. Memainkan semula “refund order 1182” daripada storan boleh mengulangi kesan sampingan, dan langkah seterusnya yang betul bergantung pada keadaan semasa. Pembalut itu enggan menyimpan sebarang jawapan yang mempunyai `tool_calls`.
-   **Jawapan yang distrim.** Pembalut memintas cache untuk `stream=True`. Cache strim bermaksud menimbalnya, memastikan ia tamat, dan memainkannya semula, yang jarang berbaloi untuk UI chat.
-   **Jawapan yang terpotong atau gagal.** Simpan hanya `finish_reason == "stop"`. Jawapan terpotong atau ralat yang di-cache selama seminggu ialah pepijat yang kelihatan seperti masalah model.
-   **Jawapan yang bergantung pada masa.** “What is today’s exchange rate?” memerlukan TTL yang singkat atau tiada cache.

Yang sesuai di-cache: pengelasan set input yang tetap, pengekstrakan daripada dokumen yang anda proses semula, jawapan FAQ daripada prompt yang tetap, suite ujian dan penilaian yang anda jalankan semula, dan gelung pembangunan di mana anda menghantar permintaan yang sama berulang kali.

## Bilakah jawapan yang di-cache patut luput?

Gunakan tiga jenis pembatalan:

1.  **TTL.** Had masa setiap entri: beberapa hari untuk jawapan FAQ yang stabil, beberapa minit untuk apa-apa yang membaca data langsung.
2.  **Versi dalam kunci.** Tukar versi prompt apabila system prompt, indeks pengambilan atau skema output berubah. Entri lama berhenti sepadan dan luput dengan sendirinya.
3.  **Model dalam kunci.** Ia sudah ada, jadi beralih daripada satu model ke model lain memulakan cache baharu, iaitu yang anda mahukan semasa [menilai pertukaran](https://broadrouter.com/ms/blog/evaluate-llm-before-switching/).

Padam baris yang telah luput mengikut jadual (`DELETE FROM cache WHERE created < ?`). Jika tidak, fail itu hanya akan membesar.

Ada manfaat sampingan. Enjin penyajian tidak menjanjikan output yang sama untuk input yang sama: dokumentasi vLLM menyatakan ia “does not guarantee the reproducibility of the results by default” (Terjemahan: tidak menjamin kebolehulangan hasil secara lalai). Cache memberi setiap pengguna jawapan yang sama kepada soalan yang sama sepanjang hayat entri itu.

## Bagaimana pula dengan cache semantik?

Cache semantik membenamkan setiap soalan dan memulangkan jawapan yang disimpan apabila soalan baharu cukup hampir, jadi “how long is a refund?” boleh kena pada “how long do refunds take?”. GPTCache ialah contoh sumber terbuka yang paling terkenal. README-nya menyatakan ia menggunakan stor vektor untuk carian kesamaan dan penilai kesamaan untuk menentukan hit, memberi amaran bahawa “you may encounter false positives during cache hits and false negatives during cache misses” (Terjemahan: anda mungkin menemui positif palsu semasa cache hit dan negatif palsu semasa cache miss), dan mencatat bahawa melumpuhkan embeddings menukarnya menjadi cache padanan kata kunci.

Dua perkara praktikal. Pertama, ia memerlukan model [embeddings](https://broadrouter.com/ms/glossary/embeddings/) dan stor vektor. BroadNet Inference tidak menawarkan embeddings, jadi anda perlu menggunakan penyedia lain atau model setempat untuk lapisan itu; [kalkulator kos embedding](https://broadrouter.com/tools/embedding-cost-calculator/) mengira harga pilihan tersebut. Kedua, hit yang salah memulangkan jawapan yang yakin kepada soalan yang berbeza. Gunakan ambang kesamaan yang ketat, ujinya pada pasangan hampir-sepadan yang sebenar, dan gunakan cache semantik hanya untuk jawapan berisiko rendah. Letakkan cache padanan tepat di hadapan dalam apa jua keadaan: ia percuma untuk disemak dan tidak pernah salah tentang apa yang ditanya.

## Apakah maksud cache untuk privasi?

Cache ialah stor prompt dan jawapan. Itu mengubah tempat data anda berada.

[Kenyataan privasi inferens](https://www.broadnet.ai/inference-privacy) BroadNet, disemak 2026-11-15, menyatakan gateway-nya tidak menyimpan prompt, mesej, respons atau transkrip, manakala rekod trafik dan penggunaan tanpa kandungan (bilangan token, kos, masa) disimpan. Kandungan inferens tidak disimpan. Metadata akaun, pengebilan dan keselamatan yang perlu disimpan seperti yang diterangkan dalam kenyataan itu. Sebaik sahaja anda menambah cache respons, sistem anda memegang kandungan yang tidak dipegang oleh penyedia. Layan ia seperti mana-mana stor data pengguna yang lain:

-   Cache hanya permintaan tanpa data peribadi di mana boleh, yang juga meningkatkan kadar hit.
-   Tetapkan TTL yang cukup singkat untuk dasar pengekalan anda, dan padam mengikut jadual.
-   Sulitkan fail atau jadual semasa rehat dan hadkan siapa yang boleh membacanya.
-   Masukkan cache dalam permintaan pemadaman data jika ia boleh memegang teks pengguna.

[Menghantar data sensitif ke API LLM](https://broadrouter.com/ms/blog/llm-api-sensitive-data/) merangkumi baki senarai semak itu.

## Bagaimanakah cache sesuai dengan kawalan kos yang lain?

Cache membuang panggilan berulang. Ia tidak berbuat apa-apa untuk panggilan unik, jadi ia duduk di sebelah kawalan lain dan bukan menggantikannya: [prompt yang lebih pendek](https://broadrouter.com/ms/blog/reduce-prompt-tokens/), prompt caching penyedia, had `max_tokens` setiap permintaan, serta bajet dan had gelung daripada [kawalan perbelanjaan API LLM](https://broadrouter.com/ms/blog/llm-api-spend-control/). Untuk kerja besar sekali sahaja, nyahpendua input sebelum anda menghantarnya; itu idea yang sama dengan cache, dilakukan sekali. [Memproses kerja besar tanpa Batch API](https://broadrouter.com/ms/blog/llm-batch-processing-without-batch-api/) menunjukkan sisi kerja.

Pada pelan kadar tetap, pengiraannya berubah. Sesi DeepSeek BroadNet tiada meter token, jadi cache hit tidak menjimatkan wang di sana. Ia masih menjimatkan masa: sesi menjalankan satu permintaan pada satu masa, jadi setiap ulangan yang anda langkau membebaskan sesi untuk kerja baharu.

## Di manakah BroadNet Inference sesuai

BroadRouter ialah laman BroadNet sendiri. BroadNet Inference menyediakan DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B dan Gemma 4 VL 26B di belakang endpoint `/v1/chat/completions` yang serasi OpenAI, jadi pembalut di atas berfungsi dengan [SDK Python OpenAI](https://broadrouter.com/ms/guides/openai-python-sdk/) dengan menukar base URL. Ia tiada ciri response caching sendiri; cache dalam artikel ini milik anda. Cache hit pihak penyedia dilaporkan dalam `usage.prompt_tokens_details.cached_tokens` dan dibilkan pada harga input cache, menurut [rujukan API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-cache-llm-responses-cut-cost&utm_content=body)nya. Harga setiap model ada di [halaman harga](https://inference.broadnet.ai/pricing?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-cache-llm-responses-cut-cost&utm_content=body).

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Token input cache (cached input tokens)](https://broadrouter.com/ms/glossary/cached-input-tokens/)

Token input cache ialah token prompt yang baru sahaja diproses oleh penyedia LLM dan boleh diguna semula daripada cache tanpa dikira semula, biasanya awalan yang berulang seperti prompt sistem atau dokumen. Penyedia mengebilnya pada kadar lebih rendah daripada token input baharu.

[Token input dan output (input and output tokens)](https://broadrouter.com/ms/glossary/input-and-output-tokens/)

Token input ialah token yang dibaca oleh model bahasa dalam satu permintaan, termasuk prompt sistem, sejarah perbualan, definisi alatan dan imej. Token output ialah token yang dijananya sebagai balasan, termasuk sebarang penaakulan. API LLM biasanya meletakkan harga berasingan, dan output biasanya lebih mahal.

[Embedding (vektor teks)](https://broadrouter.com/ms/glossary/embeddings/)

Embedding ialah senarai nombor titik terapung (vektor) yang dihasilkan oleh model untuk mewakili sekeping teks, imej atau input lain. Input yang maknanya serupa mendapat vektor yang berdekatan, jadi jarak antara vektor boleh digunakan untuk menyusun hasil carian, mengelompokkan dokumen atau mencari item berkaitan.

[Prompt sistem (system prompt)](https://broadrouter.com/ms/glossary/system-prompt/)

Prompt sistem ialah teks arahan yang dihantar oleh aplikasi kepada model bahasa sebelum perbualan, biasanya sebagai mesej dengan peranan system atau developer. Ia menetapkan peranan, peraturan, nada dan format output model, dan model sepatutnya mengutamakannya berbanding mesej pengguna yang bercanggah.

[Tool calling (panggilan alatan)](https://broadrouter.com/ms/glossary/tool-calling/)

Tool calling, juga dipanggil function calling, ialah ciri API LLM di mana model memulangkan permintaan berstruktur untuk menjalankan fungsi yang ditakrifkan oleh pembangun, bersama argumen JSON. Aplikasi menjalankan fungsi itu dan menghantar hasilnya kembali; model sendiri tidak pernah menjalankan kod.

[API kelompok (batch API)](https://broadrouter.com/ms/glossary/batch-api/)

Batch API ialah endpoint LLM tak segerak yang menerima banyak permintaan sekali gus, biasanya sebagai fail, memprosesnya dalam tempoh yang ditetapkan dan bukan serta-merta, dan memulangkan hasilnya bersama-sama. Penyedia seperti OpenAI dan Anthropic mengenakan harga diskaun untuk permintaan kelompok berbanding API standard mereka.

[Pangkalan data vektor (vector database)](https://broadrouter.com/ms/glossary/vector-database/)

Pangkalan data vektor ialah stor data yang menyimpan vektor embedding, selalunya bersama teks sumber dan metadata, dan menjawab pertanyaan jiran terdekat: berikan vektor pertanyaan dan ia memulangkan vektor tersimpan yang paling serupa dengannya, biasanya mengikut jarak kosinus, jarak Euclidean atau hasil darab dalam.

## Soalan lazim

### Apakah perbezaan antara prompt caching dan response caching?

Prompt caching dilakukan oleh penyedia: prefix prompt yang berulang dibilkan pada harga input cache yang lebih rendah, dan model masih menulis jawapan baharu. Response caching dilakukan oleh anda: anda menyimpan keseluruhan jawapan dan memulangkannya untuk permintaan yang sama tanpa memanggil model langsung.

### Patutkah saya cache respons LLM pada temperature 0?

Ya, jika permintaan tiada kesan sampingan dan jawapan yang sama boleh diterima untuk semua yang menghantarnya. Temperature 0 pun tidak menjamin output yang sama daripada enjin penyajian, jadi cache juga menjadikan jawapan konsisten. Langkau cache apabila temperature melebihi 0 atau tidak ditetapkan.

### Berapa banyak yang dijimatkan oleh response caching LLM?

Bahagian permintaan yang merupakan ulangan tepat dalam tetingkap luput anda, didarab dengan kos permintaan tersebut. Kira hash permintaan yang berulang dalam log anda sendiri untuk mendapatkan bahagian itu. Ia boleh hampir sifar untuk chat terbuka dan tinggi untuk input FAQ atau pengelasan yang tetap.

### Adakah cache semantik lebih baik daripada cache padanan tepat?

Ia lebih kerap kena, kerana soalan yang serupa sepadan, tetapi ia boleh memulangkan jawapan kepada soalan yang berbeza. Ia juga memerlukan model embeddings dan stor vektor. Mulakan dengan cache padanan tepat, dan tambah lapisan semantik hanya di mana hit yang salah tidak memudaratkan.

### Bolehkah saya cache respons yang distrim?

Tidak dengan pembalut ringkas di sini. Anda perlu mengumpul keseluruhan strim, memastikan ia tamat dengan normal, menyimpannya, dan memainkannya semula sebagai strim kemudian. Kebanyakan pasukan hanya cache panggilan yang tidak distrim seperti pengelasan, pengekstrakan dan jawapan FAQ.

## Teruskan membaca

-   [Token input cache: cara mengurangkan bil API LLM](https://broadrouter.com/ms/blog/cached-input-tokens-explained/)
-   [Cara menyusun prompt supaya prefix di-cache](https://broadrouter.com/ms/blog/prompt-structure-for-caching/)
-   [Kawalan perbelanjaan API LLM: bajet, had kunci dan perlindungan gelung](https://broadrouter.com/ms/blog/llm-api-spend-control/)
-   [Kurangkan token prompt: penjimatan terukur untuk system prompt, tools](https://broadrouter.com/ms/blog/reduce-prompt-tokens/)
-   [Log penggunaan API LLM: kos setiap pengguna dan ciri, PII disunting](https://broadrouter.com/ms/blog/llm-api-usage-logging/)
-   [Pemprosesan kelompok LLM tanpa Batch API: pelari boleh sambung](https://broadrouter.com/ms/blog/llm-batch-processing-without-batch-api/)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/)
-   [Jadikan semakan manusia sebahagian aliran kerja AI dokumen anda](https://broadrouter.com/ms/blog/document-review-queues/)
-   [Panduan: Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)
-   [Panduan: Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-cache-llm-responses-cut-cost&utm_content=page-cta) ·

**Sumber**

-   [Rujukan API BroadNet Inference: penaakulan dikira dalam max\_tokens, medan usage untuk token penaakulan dan cache, had bayar ikut guna (disemak 2026-11-15) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-cache-llm-responses-cut-cost&utm_content=sources)
-   [Kenyataan privasi inferens BroadNet: tiada prompt, mesej, respons atau transkrip disimpan; rekod trafik dan penggunaan tanpa kandungan disimpan (disemak 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/inference-privacy)
-   [GPTCache di GitHub: cache semantik dengan embeddings dan penilai kesamaan, positif palsu dan negatif palsu, mod padanan kata kunci tanpa embeddings (disemak 2026-11-15)](https://github.com/zilliztech/GPTCache)
-   [Dokumentasi vLLM, Reproducibility: "vLLM does not guarantee the reproducibility of the results by default" (Terjemahan: vLLM tidak menjamin kebolehulangan hasil secara lalai) (disemak 2026-11-15)](https://docs.vllm.ai/en/latest/usage/reproducibility.html)
-   [Dokumentasi Python, modul json: sort\_keys, separators dan ensure\_ascii dalam json.dumps (disemak 2026-11-15)](https://docs.python.org/3/library/json.html)
