Token input cache murah, dan di BroadNet Inference, DeepSeek V4.1 Flash mengebilnya pada $0.0055 bagi setiap 1M dan bukannya $0.175. Penerangan token cache merangkumi harga dan cara membaca medan usage. Artikel ini tentang kerja reka bentuk: cara menyusun prompt supaya cache benar-benar kena, dan cara membuktikannya.
Mengapakah urutan prompt menentukan kadar cache hit?
Setiap penyedia utama membuat cache mengikut prefix. Panduan OpenAI menyatakan penggunaan semula memerlukan keseluruhan prefix yang dirender sepadan. Dokumentasi DeepSeek menerangkan peraturan yang sama: permintaan hanya kena jika ia sepadan sepenuhnya dengan prefix yang disimpan, dan permintaan yang menyimpang di pertengahan tidak kena. Anthropic membina cachenya dalam urutan tools, system, messages.
Di sebalik tabir, pelayan menggunakan semula KV cache yang dibinanya untuk prefix itu. Jadi cache ialah garis lurus dari token pertama. Byte pertama yang berbeza daripada panggilan terakhir menamatkan bahagian yang boleh digunakan semula. Satu baris cap masa di bahagian atas prompt 50,000 token menyebabkan anda membayar kesemua 50,000 token pada harga penuh.
Apakah urutan lapisan yang betul?
| Lapisan | Berubah | Contoh | Peraturan |
|---|---|---|---|
| 1. System prompt | Setiap deploy | Peranan, peraturan, format output | Tiada tarikh, ID, nama pengguna |
| 2. Definisi tool | Setiap deploy | Skema fungsi | Disusun, JSON deterministik |
| 3. Bahan rujukan | Setiap sesi atau tugasan | Fail repo, kontrak, dokumentasi produk | Urutan tetap, label stabil |
| 4. Sejarah perbualan | Setiap giliran, tambah sahaja | Giliran pengguna dan pembantu terdahulu | Jangan sunting; tambah sahaja |
| 5. Mesej baharu | Setiap panggilan | Soalan, ditambah masa semasa jika perlu | Data yang berubah-ubah diletakkan di sini |
Lapisan 5 ialah tempat untuk apa-apa yang berubah-ubah: tarikh semasa, lokal pengguna, ID permintaan, petikan yang diambil yang berbeza setiap soalan.
Apakah yang merosakkan prefix tanpa anda sedari?
- Urutan kamus. Rangka kerja sering membina tatasusunan
toolsdaripada dict atau registri. Jika pemalam dimuatkan dalam urutan berbeza, byte berubah. - Format JSON.
json.dumps(x)danjson.dumps(x, indent=2)ialah prefix yang berbeza. Begitu juga dua penyiri dengan urutan kunci yang berbeza. - Ruang kosong templat. Ruang di hujung, atau
\r\ndaripada satu laluan kod dan\ndaripada laluan lain. - Senarai tool dinamik. Membuang tools yang tidak boleh digunakan oleh pengguna mengubah prefix. Panduan OpenAI mengesyorkan definisi dikekalkan stabil dan penggunaan dihadkan dengan
tool_choiceatau tetapan allowed-tools. - Meringkaskan sejarah di tempatnya. Menulis semula giliran lama menjadi ringkasan menetapkan semula segala-galanya selepas system prompt. Ringkaskan jarang-jarang dan dalam langkah besar.
- Pengambilan sebelum arahan. Petikan RAG yang diletakkan antara system prompt dan tools berbeza setiap pertanyaan dan merosakkan lapisan tools juga.
Bagaimanakah membina permintaan mesra cache dalam kod?
Jadikan setiap lapisan fungsi bagi input yang stabil sahaja, dan siri secara deterministik:
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = open("prompts/system.md").read() # versioned file, no templating
def stable_tools(registry: dict) -> list:
# Sort by name, sort keys inside each schema.
return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]
def docs_block(paths: list[str]) -> str:
parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
return "\n\n".join(parts)
def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
return (
[{"role": "system", "content": SYSTEM},
{"role": "user", "content": docs_block(doc_paths)}]
+ history # append-only
+ [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
)
resp = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=build_messages(history, question, now_iso, files),
tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]
Dua butiran. Masa semasa diletakkan dalam mesej terakhir, bukan dalam system prompt. Dan sejarah menyimpan mesej pembantu tepat seperti yang dipulangkan, supaya panggilan seterusnya menghantar semula byte yang sama.
Bagaimanakah membuktikan prefix di-cache?
Jalankan ujian dua panggilan dalam CI atau buku nota:
- Bina permintaan dengan system prompt, tools dan dokumen sebenar anda.
- Hantarnya. Catat
usage.prompt_tokens. - Ubah hanya mesej pengguna terakhir dan hantar sekali lagi.
- Baca
usage.prompt_tokens_details.cached_tokenspada panggilan kedua. Ia patut meliputi hampir keseluruhan prefix yang dikongsi. - Jika ia sifar atau kecil, bandingkan badan permintaan yang disiri byte demi byte. Perbezaan pertama ialah perosak cache anda.
Cache bersifat usaha terbaik pada kebanyakan penyedia, dan dokumentasi DeepSeek menyatakannya secara langsung, jadi satu miss bukan bukti pepijat. Miss yang konsisten ialah bukti. Jejaki nisbah token cache kepada token prompt setiap permintaan dalam log penggunaan anda, dan gunakan kalkulator prompt caching untuk melihat berapa banyak yang dijimatkan oleh kadar hit yang lebih tinggi.
Bagaimanakah ini berubah untuk ejen dan konteks panjang?
Ejen paling banyak mendapat manfaat kerana ia menghantar semula prefix besar yang sama berpuluh-puluh kali setiap tugasan. Dua tabiat penting:
- Satu perbualan setiap tugasan. Memulakan perbualan baharu untuk setiap sub-langkah membuang prefix.
- Baca fail sekali, berhampiran bahagian atas. Jika ejen membaca semula fail, tambah salinan baharu dan bukannya menggantikan yang lama, melainkan fail itu berubah.
Dengan tetingkap konteks 1M token, lapisan 3 boleh memuatkan keseluruhan repositori. Itu mampu dibayar pada kunci setiap token hanya apabila ia di-cache, sebab itulah urutan lapisan menjadi lebih penting apabila prompt membesar. Prefix yang di-cache juga cenderung mengurangkan masa ke token pertama; lihat TTFT vs daya pemprosesan.
Di manakah BroadNet Inference sesuai
Di BroadNet Inference, blok usage melaporkan prompt_tokens_details.cached_tokens apabila model melaporkannya, dan input cache pada DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B dibilkan pada kadar lebih rendah yang disenaraikan di halaman harga. BroadNet tidak menawarkan titik putus cache yang eksplisit atau parameter kunci cache dalam dokumentasinya, jadi susun atur di atas ialah keseluruhan tekniknya. Pada pelan tanpa had, cache tidak mengubah bil, kerana sesi tiada meter token, tetapi struktur yang sama masih membantu kependaman.
