BroadRouter

Cara menyusun prompt agar prefiksnya ter-cache

Oleh tim BroadNet Inference · 4 menit baca · Dipublikasikan · Diperbarui

Urutkan setiap permintaan dari yang paling stabil ke yang paling berubah: system prompt, definisi tool, dokumen referensi, riwayat percakapan, lalu pesan baru. Buat setiap lapisan identik byte demi byte antarpanggilan: tanpa timestamp atau ID di bagian atas, tool diurutkan, JSON diserialisasi secara deterministik, dan riwayat hanya ditambah di akhir. Lalu ukur cached_tokens untuk memastikan prefiksnya benar-benar dipakai ulang.

Token input cache itu murah, dan di BroadNet Inference DeepSeek V4.1 Flash menagihnya $0.0055 per 1 juta, bukan $0.175. Penjelasan token cache membahas harganya dan cara membaca field usage. Artikel ini membahas pekerjaan desainnya: bagaimana menyusun prompt agar cache benar-benar kena (hit), dan bagaimana membuktikannya.

Kenapa urutan prompt menentukan cache hit rate?

Semua penyedia besar melakukan cache berdasarkan prefiks. Panduan OpenAI menyebut pemakaian ulang mensyaratkan seluruh prefiks yang dirender cocok. Dokumentasi DeepSeek menjelaskan aturan yang sama: permintaan hanya kena cache jika sepenuhnya cocok dengan prefiks yang tersimpan, dan permintaan yang menyimpang di tengah jalan tidak kena. Anthropic menyusun cache-nya dengan urutan tools, system, messages.

Di balik layar, server memakai ulang KV cache yang sudah dibangunnya untuk prefiks itu. Jadi cache adalah garis lurus dari token pertama. Byte pertama yang berbeda dari panggilan terakhir mengakhiri bagian yang bisa dipakai ulang. Satu baris timestamp di bagian atas prompt 50.000 token membuat Anda membayar seluruh 50.000 token itu dengan harga penuh.

Seperti apa urutan lapisan yang benar?

Lapisan Berubah Contoh Aturan
1. System prompt Per deploy Peran, aturan, format output Tanpa tanggal, ID, nama pengguna
2. Definisi tool Per deploy Skema fungsi Diurutkan, JSON deterministik
3. Materi referensi Per sesi atau tugas File repo, kontrak, dokumen produk Urutan tetap, label stabil
4. Riwayat percakapan Per giliran, hanya ditambah Giliran pengguna dan asisten sebelumnya Jangan pernah diedit; hanya ditambah
5. Pesan baru Setiap panggilan Pertanyaan, plus waktu saat ini jika perlu Data yang berubah-ubah ditaruh di sini

Lapisan 5 adalah tempat untuk apa pun yang berubah-ubah: tanggal saat ini, locale pengguna, ID permintaan, potongan hasil retrieval yang berbeda per pertanyaan.

Apa yang merusak prefiks tanpa Anda sadari?

  1. Urutan dictionary. Framework sering membangun array tools dari dict atau registry. Jika plugin dimuat dengan urutan berbeda, byte-nya berubah.
  2. Format JSON. json.dumps(x) dan json.dumps(x, indent=2) adalah prefiks yang berbeda. Begitu juga dua serializer dengan urutan key yang berbeda.
  3. Spasi di template. Spasi di akhir baris, atau \r\n dari satu jalur kode dan \n dari jalur lain.
  4. Daftar tool dinamis. Menghapus tool yang tidak bisa dipakai pengguna mengubah prefiks. Panduan OpenAI menyarankan definisinya tetap stabil dan pemakaiannya dibatasi dengan tool_choice atau pengaturan allowed tools.
  5. Meringkas riwayat di tempat. Menulis ulang giliran lama menjadi ringkasan mereset semua yang ada setelah system prompt. Ringkas sesekali saja, dalam langkah besar.
  6. Retrieval sebelum instruksi. Potongan RAG yang ditaruh di antara system prompt dan tool berbeda per kueri dan ikut merusak lapisan tool.

Bagaimana membangun permintaan yang ramah cache di kode?

Jadikan setiap lapisan sebagai fungsi dari input yang stabil saja, dan serialisasi secara deterministik:

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = open("prompts/system.md").read()  # versioned file, no templating

def stable_tools(registry: dict) -> list:
    # Sort by name, sort keys inside each schema.
    return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]

def docs_block(paths: list[str]) -> str:
    parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
    return "\n\n".join(parts)

def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
    return (
        [{"role": "system", "content": SYSTEM},
         {"role": "user", "content": docs_block(doc_paths)}]
        + history                                   # append-only
        + [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
    )

resp = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=build_messages(history, question, now_iso, files),
    tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]

Dua detail. Waktu saat ini masuk ke pesan terakhir, bukan system prompt. Dan riwayat menyimpan pesan asisten persis seperti yang dikembalikan, sehingga panggilan berikutnya mengirim ulang byte yang identik.

Bagaimana membuktikan prefiksnya ter-cache?

Jalankan tes dua panggilan di CI atau notebook:

  1. Buat permintaan dengan system prompt, tool, dan dokumen Anda yang sebenarnya.
  2. Kirim. Catat usage.prompt_tokens.
  3. Ubah hanya pesan pengguna terakhir dan kirim lagi.
  4. Baca usage.prompt_tokens_details.cached_tokens di panggilan kedua. Nilainya seharusnya mencakup hampir seluruh prefiks bersama.
  5. Jika nol atau kecil, bandingkan body permintaan yang sudah diserialisasi byte demi byte. Perbedaan pertama itulah perusak cache Anda.

Caching di kebanyakan penyedia bersifat best-effort, dan dokumentasi DeepSeek menyatakannya langsung, jadi satu kali miss bukan bukti adanya bug. Miss yang konsisten, itu baru bukti. Pantau rasio token cache terhadap token prompt per permintaan di log pemakaian Anda, dan pakai kalkulator prompt caching untuk melihat berapa yang dihemat jika hit rate lebih tinggi.

Apa bedanya untuk agen dan konteks panjang?

Agen paling diuntungkan karena mengirim ulang prefiks besar yang sama puluhan kali per tugas. Dua kebiasaan yang penting:

  • Satu percakapan per tugas. Memulai percakapan baru untuk setiap sublangkah membuang prefiksnya.
  • Baca file sekali, di dekat bagian atas. Jika agen membaca ulang sebuah file, tambahkan salinan baru di akhir alih-alih mengganti yang lama, kecuali file-nya memang berubah.

Dengan context window 1 juta token, lapisan 3 bisa memuat seluruh repositori. Itu baru terjangkau dengan kunci per token jika ter-cache, itulah sebabnya urutan lapisan makin penting seiring prompt membesar. Prefiks yang ter-cache juga cenderung mempercepat waktu ke token pertama; lihat TTFT vs throughput.

Posisi BroadNet Inference

Di BroadNet Inference, blok usage melaporkan prompt_tokens_details.cached_tokens saat model melaporkannya, dan input cache di DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B ditagih dengan tarif lebih rendah yang tercantum di halaman harga. Dokumentasi BroadNet tidak menawarkan cache breakpoint eksplisit atau parameter cache key, jadi tata letak di atas adalah seluruh tekniknya. Di paket unlimited, cache tidak mengubah tagihan karena sesi tidak punya meteran token, tetapi struktur yang sama tetap membantu latensi.

Pertanyaan umum

Kenapa cache hit rate prompt saya rendah?

Ada sesuatu di dekat awal prompt yang berubah di setiap panggilan. Penyebab umumnya adalah timestamp atau ID permintaan di system prompt, tool yang diserialisasi dengan urutan berbeda, dokumen hasil retrieval yang ditaruh sebelum instruksi, atau riwayat yang diringkas dan ditulis ulang.

Pertanyaan pengguna ditaruh sebelum atau sesudah dokumen panjang?

Sesudah. Taruh dokumen di awal dan pertanyaan di akhir. Dengan begitu dokumen membentuk prefiks yang bisa dipakai ulang, dan banyak model juga menjawab lebih baik jika pertanyaan datang setelah materinya.

Apakah definisi tool merusak prompt caching?

Hanya jika berubah. Tool adalah bagian dari prefiks, jadi pertahankan set yang sama dengan urutan dan JSON yang sama. Untuk membatasi tool di satu panggilan, pakai tool_choice alih-alih mengedit daftarnya.

Apakah urutan contoh few-shot berpengaruh pada caching?

Ya. Contoh yang diacak menghasilkan prefiks berbeda setiap kali. Tetapkan urutannya, atau taruh contoh yang berubah per permintaan setelah bagian yang stabil.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity