Setiap permintaan LLM yang sama yang anda hantar dua kali dibayar dua kali. Cache respons menyimpan jawapan pada kali pertama dan memulangkannya pada kali seterusnya, tanpa token dibilkan dan tanpa menunggu. Ideanya mudah. Bahagian sukarnya ialah menentukan apa yang menjadikan dua permintaan “sama”, permintaan mana yang tidak boleh sekali-kali dilayan daripada storan, dan sama ada trafik anda cukup berulang untuk memberi kesan.
Artikel ini membina cache padanan tepat yang kecil dalam Python di atas SQLite, diuji terhadap pelayan olok-olok yang serasi OpenAI, dan menunjukkan cara mengukur kadar hit daripada log anda sebelum anda menulis apa-apa.
Adakah response caching sama dengan prompt caching?
Tidak. Kedua-duanya menjimatkan perkara yang berbeza, dan anda boleh menggunakan kedua-duanya.
| Prompt caching (penyedia) | Response caching (anda) | |
|---|---|---|
| Apa yang digunakan semula | Permulaan prompt yang berulang | Keseluruhan jawapan |
| Siapa yang menjalankannya | Penyedia API | Kod anda |
| Model masih berjalan? | Ya, menulis jawapan baharu | Tidak |
| Apa yang dijimatkan | Sebahagian kos input | Token input, output dan penaakulan, ditambah kependaman |
| Bila ia kena | Prefix dikongsi, soalan berbeza | Permintaan yang sama tepat |
Token input cache menerangkan pihak penyedia, dan struktur prompt untuk cache menunjukkan cara menyusun prompt supaya prefix digunakan semula. Kalkulator prompt caching mengira harganya. Cache respons duduk di hadapan semua itu: apabila kena, tiada permintaan keluar dari pelayan anda.
Adakah cache benar-benar menjimatkan wang anda?
Ukur sebelum membina. Peratusan penjimatan kos dalam banyak tutorial cache datang daripada trafik orang lain. Angka anda bergantung pada satu perkara: betapa kerap permintaan yang sama tiba semula dalam tetingkap luput anda.
Jika anda sudah melog setiap panggilan, seperti dalam log penggunaan API LLM, tambah satu medan: request_hash, kunci cache yang diterangkan di bawah. Ia tidak menyimpan teks prompt, jadi ia sesuai untuk log yang tidak menyimpan kandungan. Kemudian kira ulangan:
import json
from collections import Counter
def potential_hit_rate(log_path: str) -> float:
"""Share of calls whose request_hash was already seen: an upper bound for an exact cache."""
hashes = [json.loads(line)["request_hash"] for line in open(log_path)]
seen, repeats = set(), 0
for h in hashes:
repeats += h in seen
seen.add(h)
print("top repeated requests:", Counter(hashes).most_common(3))
return repeats / len(hashes) if hashes else 0.0
print(f"potential hit rate: {potential_hit_rate('calls.jsonl'):.1%}")
Pada log sintetik 20 panggilan, satu permintaan lima kali, satu lagi tiga kali dan dua belas yang unik, ia mencetak potensi kadar hit 30.0%. Itu had atas: ia mengabaikan tempoh luput, dan menganggap setiap ulangan selamat dilayan daripada storan.
Kemudian tukar kadar itu kepada wang:
monthly saving = hit rate × requests per month
× (input tokens × input price + output tokens × output price) ÷ 1,000,000
Token output termasuk penaakulan. Dokumentasi BroadNet menyatakan DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B menaakul sebelum menjawab dan penaakulan dikira dalam max_tokens, jadi satu hit menjimatkan token yang tidak pernah anda lihat dalam jawapan. Ambil completion_tokens daripada usage yang dilog, bukan panjang jawapan.
Contoh pengiraan dalam token: 100,000 permintaan sebulan dengan 1,200 token input dan 150 token output setiap satu, dengan kadar hit 30%, mengelakkan 36 juta token input dan 4.5 juta token output. Pada DeepSeek V4.1 Flash, token itu dibilkan pada $0.175 dan $0.52 bagi setiap 1M masing-masing; masukkan angka anda sendiri ke dalam kalkulator kos API LLM. Jika sebahagian besar input itu sudah pun cache hit penyedia, penjimatan input berada pada kadar cache yang lebih rendah ($0.0055 bagi setiap 1M pada model yang sama), jadi bahagian output selalunya yang lebih penting.
Apakah yang dimasukkan ke dalam kunci cache?
Semua yang boleh mengubah jawapan, dan tiada yang lain.
- Masukkan:
model, keseluruhan senaraimessages(termasuk system prompt),temperature,top_p,max_tokens,seed,response_format,tools,tool_choicedanreasoning_effort. - Tambah versi prompt yang anda kawal, seperti
faq-v3. Naikkannya apabila anda mengubah templat prompt, data pengambilan atau pasca-pemprosesan yang tidak ditunjukkan oleh badan permintaan. - Tinggalkan apa-apa yang berubah setiap panggilan tanpa mengubah jawapan: ID permintaan, cap masa, pengepala jejak, medan
useryang anda hantar hanya untuk penjejakan penyalahgunaan.
Siri bahan kunci dengan cara yang sama setiap kali. json.dumps Python dengan sort_keys=True dan separators=(",", ":") memberi satu rentetan kanonik tanpa mengira urutan kamus; ensure_ascii=False mengekalkan teks Arab dan teks bukan Latin lain sebagai UTF-8 dan bukannya escape. Hash dengan SHA-256.
Medan yang tertinggal ialah kesilapan yang berbahaya. Jika max_tokens tiada dalam kunci, jawapan yang terpotong di bawah had kecil akan dilayan kepada permintaan yang membenarkan jawapan panjang.
Cache: SQLite, TTL dan dasar langkau
import hashlib, json, sqlite3, time
# Every field that changes the answer belongs in the key.
KEY_FIELDS = ("model", "messages", "temperature", "top_p", "max_tokens", "seed",
"response_format", "tools", "tool_choice", "reasoning_effort")
def cache_key(params: dict, prompt_version: str) -> str:
material = {k: params[k] for k in KEY_FIELDS if k in params}
material["prompt_version"] = prompt_version
canon = json.dumps(material, sort_keys=True, separators=(",", ":"), ensure_ascii=False)
return hashlib.sha256(canon.encode("utf-8")).hexdigest()
class ResponseCache:
def __init__(self, path="llm_cache.sqlite", ttl_s=7 * 86400):
self.db, self.ttl = sqlite3.connect(path), ttl_s
self.db.execute("CREATE TABLE IF NOT EXISTS cache (k TEXT PRIMARY KEY, created REAL,"
" body TEXT, prompt_tokens INT, completion_tokens INT)")
self.hits = self.misses = self.skips = self.saved_in = self.saved_out = 0
def create(self, client, prompt_version: str, **params):
if params.get("stream") or params.get("temperature", 1) > 0:
self.skips += 1 # not cacheable: call the model directly
return client.chat.completions.create(**params)
k = cache_key(params, prompt_version)
row = self.db.execute("SELECT body, created, prompt_tokens, completion_tokens"
" FROM cache WHERE k = ?", (k,)).fetchone()
if row and time.time() - row[1] < self.ttl:
self.hits += 1; self.saved_in += row[2]; self.saved_out += row[3]
return json.loads(row[0]) # a plain dict, not an SDK object
self.misses += 1
r = client.chat.completions.create(**params)
choice = r.choices[0]
if choice.finish_reason == "stop" and not choice.message.tool_calls:
self.db.execute("INSERT OR REPLACE INTO cache VALUES (?, ?, ?, ?, ?)",
(k, time.time(), r.model_dump_json(),
r.usage.prompt_tokens, r.usage.completion_tokens))
self.db.commit()
return r.model_dump()
Dan larian terhadapnya:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
cache = ResponseCache("demo.sqlite", ttl_s=86400)
SYSTEM = {"role": "system", "content": "Answer questions about our refund policy in one sentence."}
questions = ["How long do refunds take?", "Can I refund a gift card?",
"How long do refunds take?", "How long do refunds take?", "Can I refund a gift card?"]
for q in questions:
r = cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0,
max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": q}])
print(r["choices"][0]["message"]["content"])
# a personalised, sampled request is never cached
cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0.7,
messages=[SYSTEM, {"role": "user", "content": "Write me a friendly reminder"}])
# a new prompt version is a new key
cache.create(client, "faq-v4", model="broadnet/deepseek-v4.1-flash", temperature=0,
max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": "How long do refunds take?"}])
print(f"hits={cache.hits} misses={cache.misses} skipped={cache.skips} "
f"saved_input={cache.saved_in} saved_output={cache.saved_out}")
Kami menjalankan ini dengan SDK Python OpenAI 3.51.0 terhadap pelayan olok-olok setempat yang mengira panggilan huluan dan melaporkan 1,200 token prompt dan 150 token completion setiap jawapan (tiada panggilan API langsung). Tujuh permintaan membuat empat panggilan huluan. Skrip itu mencetak hits=3 misses=3 skipped=1 saved_input=3600 saved_output=450. Apabila dijalankan semula pada fail pangkalan data yang sama, kesemua enam permintaan yang boleh di-cache adalah hit (hits=6 misses=0): SQLite mengekalkan cache merentas permulaan semula. Kunci yang dibina daripada medan yang sama dalam urutan berbeza sepadan.
Nota tentang kod:
max_tokens=1200meninggalkan ruang untuk penaakulan sebelum jawapan. Dengan had yang kecil, model penaakulan boleh memulangkan jawapan kosong (mengapa). Jawapan itu tidak disimpan, keranafinish_reasonialahlength, bukanstop.- Hit memulangkan dict. Miss juga memulangkan
model_dump(), jadi pemanggil melihat satu bentuk. Jika kod anda menjangkakan objek SDK, balut kedua-duanya. temperatureyang tiada dianggap bersampel. Pelayan kemudian menggunakan lalainya sendiri, yang mungkin melebihi 0, jadi pembalut melangkau cache melainkan anda menetapkan 0 secara eksplisit.- SQLite sesuai untuk satu atau beberapa proses. Untuk beberapa pelayan, letakkan logik kunci dan TTL yang sama dalam Redis atau pangkalan data anda.
Apakah yang tidak boleh sekali-kali dilayan daripada cache?
- Jawapan bersampel (temperature melebihi 0). Anda memilih kepelbagaian. Cache menghapuskannya, dan pengguna yang menekan “regenerate” mendapat teks yang sama.
- Jawapan yang diperibadikan melainkan ID pengguna ada dalam kunci. Dua pengguna yang menghantar “summarise my account” mempunyai akaun yang berbeza. Lebih baik: cache hanya permintaan yang mesejnya tidak mengandungi data khusus pengguna.
- Panggilan alat. Panggilan alat ialah arahan untuk bertindak. Memainkan semula “refund order 1182” daripada storan boleh mengulangi kesan sampingan, dan langkah seterusnya yang betul bergantung pada keadaan semasa. Pembalut itu enggan menyimpan sebarang jawapan yang mempunyai
tool_calls. - Jawapan yang distrim. Pembalut memintas cache untuk
stream=True. Cache strim bermaksud menimbalnya, memastikan ia tamat, dan memainkannya semula, yang jarang berbaloi untuk UI chat. - Jawapan yang terpotong atau gagal. Simpan hanya
finish_reason == "stop". Jawapan terpotong atau ralat yang di-cache selama seminggu ialah pepijat yang kelihatan seperti masalah model. - Jawapan yang bergantung pada masa. “What is today’s exchange rate?” memerlukan TTL yang singkat atau tiada cache.
Yang sesuai di-cache: pengelasan set input yang tetap, pengekstrakan daripada dokumen yang anda proses semula, jawapan FAQ daripada prompt yang tetap, suite ujian dan penilaian yang anda jalankan semula, dan gelung pembangunan di mana anda menghantar permintaan yang sama berulang kali.
Bilakah jawapan yang di-cache patut luput?
Gunakan tiga jenis pembatalan:
- TTL. Had masa setiap entri: beberapa hari untuk jawapan FAQ yang stabil, beberapa minit untuk apa-apa yang membaca data langsung.
- Versi dalam kunci. Tukar versi prompt apabila system prompt, indeks pengambilan atau skema output berubah. Entri lama berhenti sepadan dan luput dengan sendirinya.
- Model dalam kunci. Ia sudah ada, jadi beralih daripada satu model ke model lain memulakan cache baharu, iaitu yang anda mahukan semasa menilai pertukaran.
Padam baris yang telah luput mengikut jadual (DELETE FROM cache WHERE created < ?). Jika tidak, fail itu hanya akan membesar.
Ada manfaat sampingan. Enjin penyajian tidak menjanjikan output yang sama untuk input yang sama: dokumentasi vLLM menyatakan ia “does not guarantee the reproducibility of the results by default” (Terjemahan: tidak menjamin kebolehulangan hasil secara lalai). Cache memberi setiap pengguna jawapan yang sama kepada soalan yang sama sepanjang hayat entri itu.
Bagaimana pula dengan cache semantik?
Cache semantik membenamkan setiap soalan dan memulangkan jawapan yang disimpan apabila soalan baharu cukup hampir, jadi “how long is a refund?” boleh kena pada “how long do refunds take?”. GPTCache ialah contoh sumber terbuka yang paling terkenal. README-nya menyatakan ia menggunakan stor vektor untuk carian kesamaan dan penilai kesamaan untuk menentukan hit, memberi amaran bahawa “you may encounter false positives during cache hits and false negatives during cache misses” (Terjemahan: anda mungkin menemui positif palsu semasa cache hit dan negatif palsu semasa cache miss), dan mencatat bahawa melumpuhkan embeddings menukarnya menjadi cache padanan kata kunci.
Dua perkara praktikal. Pertama, ia memerlukan model embeddings dan stor vektor. BroadNet Inference tidak menawarkan embeddings, jadi anda perlu menggunakan penyedia lain atau model setempat untuk lapisan itu; kalkulator kos embedding mengira harga pilihan tersebut. Kedua, hit yang salah memulangkan jawapan yang yakin kepada soalan yang berbeza. Gunakan ambang kesamaan yang ketat, ujinya pada pasangan hampir-sepadan yang sebenar, dan gunakan cache semantik hanya untuk jawapan berisiko rendah. Letakkan cache padanan tepat di hadapan dalam apa jua keadaan: ia percuma untuk disemak dan tidak pernah salah tentang apa yang ditanya.
Apakah maksud cache untuk privasi?
Cache ialah stor prompt dan jawapan. Itu mengubah tempat data anda berada.
Kenyataan privasi inferens BroadNet, disemak 2026-11-15, menyatakan gateway-nya tidak menyimpan prompt, mesej, respons atau transkrip, manakala rekod trafik dan penggunaan tanpa kandungan (bilangan token, kos, masa) disimpan. Kandungan inferens tidak disimpan. Metadata akaun, pengebilan dan keselamatan yang perlu disimpan seperti yang diterangkan dalam kenyataan itu. Sebaik sahaja anda menambah cache respons, sistem anda memegang kandungan yang tidak dipegang oleh penyedia. Layan ia seperti mana-mana stor data pengguna yang lain:
- Cache hanya permintaan tanpa data peribadi di mana boleh, yang juga meningkatkan kadar hit.
- Tetapkan TTL yang cukup singkat untuk dasar pengekalan anda, dan padam mengikut jadual.
- Sulitkan fail atau jadual semasa rehat dan hadkan siapa yang boleh membacanya.
- Masukkan cache dalam permintaan pemadaman data jika ia boleh memegang teks pengguna.
Menghantar data sensitif ke API LLM merangkumi baki senarai semak itu.
Bagaimanakah cache sesuai dengan kawalan kos yang lain?
Cache membuang panggilan berulang. Ia tidak berbuat apa-apa untuk panggilan unik, jadi ia duduk di sebelah kawalan lain dan bukan menggantikannya: prompt yang lebih pendek, prompt caching penyedia, had max_tokens setiap permintaan, serta bajet dan had gelung daripada kawalan perbelanjaan API LLM. Untuk kerja besar sekali sahaja, nyahpendua input sebelum anda menghantarnya; itu idea yang sama dengan cache, dilakukan sekali. Memproses kerja besar tanpa Batch API menunjukkan sisi kerja.
Pada pelan kadar tetap, pengiraannya berubah. Sesi DeepSeek BroadNet tiada meter token, jadi cache hit tidak menjimatkan wang di sana. Ia masih menjimatkan masa: sesi menjalankan satu permintaan pada satu masa, jadi setiap ulangan yang anda langkau membebaskan sesi untuk kerja baharu.
Di manakah BroadNet Inference sesuai
BroadRouter ialah laman BroadNet sendiri. BroadNet Inference menyediakan DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B dan Gemma 4 VL 26B di belakang endpoint /v1/chat/completions yang serasi OpenAI, jadi pembalut di atas berfungsi dengan SDK Python OpenAI dengan menukar base URL. Ia tiada ciri response caching sendiri; cache dalam artikel ini milik anda. Cache hit pihak penyedia dilaporkan dalam usage.prompt_tokens_details.cached_tokens dan dibilkan pada harga input cache, menurut rujukan APInya. Harga setiap model ada di halaman harga.
