---
title: "Prompt structure para sa caching: stable na prefix | BroadRouter"
description: "Paano ilatag ang LLM prompt para manatiling pareho ang naka-cache na prefix: system prompt, tool schema, dokumento, append-only na history, at test na patunay."
url: https://broadrouter.com/fil/blog/prompt-structure-for-caching/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/prompt-structure-for-caching/) (na-update noong 2026-11-16).

# Paano ayusin ang prompt para ma-cache ang prefix

Ng BroadNet Inference team · 4 minutong basa · Nailathala 2026-11-14 · Na-update 2026-11-16

Ayusin ang bawat request mula sa pinaka-stable hanggang sa pinakamadalas magbago: system prompt, tool definitions, reference na dokumento, history ng usapan, at huli ang bagong mensahe. Gawing byte-identical ang bawat layer sa bawat call: walang timestamp o ID sa itaas, naka-sort ang tools, deterministic ang serialization ng JSON, at dinudugtungan lang ang history. Pagkatapos, sukatin ang cached\_tokens para makumpirmang talagang nagagamit ulit ang prefix.

## Mga pangunahing punto

-   Eksaktong prefix ang tinutugma ng cache. Kapag may isang byte na nagbago, invalid na ang lahat ng kasunod nito, kaya mas mahalaga ang ayos ng mga layer kaysa sa laki nila.
-   Apat na layer, pinaka-stable muna: system prompt, tools, mga dokumento, history. Huli ang bagong user turn.
-   I-serialize ang tools at mga JSON na dokumento nang naka-sort ang key at fixed ang separator; tahimik na sumisira sa cache ang ayos ng dictionary.
-   Limitahan ang tools kada call gamit ang tool\_choice imbes na tanggalin ang tool definitions.
-   I-test ito: ipadala nang dalawang beses ang parehong prefix at tiyaking tumataas ang prompt\_tokens\_details.cached\_tokens sa pangalawang call.

**Sa page na ito**

1.  Bakit ang ayos ng prompt ang nagdedesisyon sa cache hit rate?
2.  Ano ang tamang ayos ng mga layer?
3.  Ano ang sumisira sa prefix nang hindi mo napapansin?
4.  Paano bumuo ng cache-friendly na request sa code?
5.  Paano patunayang naka-cache ang prefix?
6.  Paano ito nagbabago para sa mga agent at mahabang context?
7.  Saan pumapasok ang BroadNet Inference

Mura ang [cached input token](https://broadrouter.com/fil/glossary/cached-input-tokens/), at sa BroadNet Inference, sinisingil ito ng DeepSeek V4.1 Flash sa $0.0055 kada 1M imbes na $0.175. Sinasaklaw ng [paliwanag sa cached token](https://broadrouter.com/fil/blog/cached-input-tokens-explained/) ang presyo at kung paano basahin ang usage field. Tungkol naman sa disenyo ang post na ito: paano ilatag ang prompt para talagang tumama ang cache, at paano ito patunayan.

## Bakit ang ayos ng prompt ang nagdedesisyon sa cache hit rate?

Kada **prefix** nagca-cache ang bawat malaking provider. Sinasabi ng guide ng OpenAI na para magamit ulit, dapat tumugma ang buong rendered prefix. Parehong patakaran ang inilalarawan ng docs ng DeepSeek: tatama lang ang request kung buo itong tumutugma sa isang naka-store na prefix, at hindi tatama ang lumilihis sa kalagitnaan. Binubuo ng Anthropic ang cache nito sa ayos na tools, system, messages.

Sa ilalim nito, ginagamit ulit ng server ang [KV cache](https://broadrouter.com/fil/glossary/kv-cache/) na binuo nito para sa prefix na iyon. Kaya tuwid na linya ang cache mula sa unang token. Ang unang byte na naiiba sa nakaraang call ang nagtatapos sa bahaging magagamit ulit. Ang isang linyang timestamp sa itaas ng 50,000-token na prompt ay magpapabayad sa iyo ng lahat ng 50,000 token sa buong presyo.

## Ano ang tamang ayos ng mga layer?

| Layer | Nagbabago | Halimbawa | Patakaran |
| --- | --- | --- | --- |
| 1\. System prompt | Kada deploy | Role, patakaran, format ng output | Walang petsa, ID, pangalan ng user |
| 2\. Tool definitions | Kada deploy | Function schema | Naka-sort, deterministic na JSON |
| 3\. Reference na materyal | Kada session o task | File ng repo, kontrata, product docs | Fixed na ayos, stable na label |
| 4\. History ng usapan | Kada turn, append-only | Mga naunang user at assistant turn | Huwag i-edit; dagdagan lang |
| 5\. Bagong mensahe | Bawat call | Ang tanong, dagdag ang kasalukuyang oras kung kailangan | Dito ang pabagu-bagong data |

Sa layer 5 nabibilang ang anumang pabagu-bago: ang kasalukuyang petsa, ang locale ng user, isang request ID, mga retrieved na snippet na iba-iba kada tanong.

## Ano ang sumisira sa prefix nang hindi mo napapansin?

1.  **Ayos ng dictionary.** Madalas binubuo ng mga framework ang `tools` array mula sa isang dict o registry. Kapag iba ang ayos ng pag-load ng mga plugin, nagbabago ang mga byte.
2.  **Format ng JSON.** Magkaibang prefix ang `json.dumps(x)` at `json.dumps(x, indent=2)`. Ganoon din ang dalawang serializer na magkaiba ang ayos ng key.
3.  **Whitespace sa template.** Isang trailing space, o `\r\n` mula sa isang code path at `\n` mula sa iba.
4.  **Pabagu-bagong listahan ng tools.** Binabago ng pagtanggal sa mga tool na hindi magagamit ng isang user ang prefix. Pinapayo ng guide ng OpenAI na panatilihing stable ang mga definition at limitahan ang paggamit gamit ang `tool_choice` o isang allowed-tools setting.
5.  **Pag-summarize ng history sa mismong lugar.** Nire-reset ng pag-rewrite ng mga lumang turn bilang buod ang lahat ng kasunod ng system prompt. Bihira at malakihang hakbang lang dapat mag-summarize.
6.  **Retrieval bago ang mga instruction.** Iba-iba kada query ang mga RAG snippet na nakalagay sa pagitan ng system prompt at tools, at sinisira rin nila ang layer ng tools.

## Paano bumuo ng cache-friendly na request sa code?

Gawing function ng mga stable na input lang ang bawat layer, at i-serialize nang deterministic:

```python
import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = open("prompts/system.md").read()  # versioned file, no templating

def stable_tools(registry: dict) -> list:
    # Sort by name, sort keys inside each schema.
    return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]

def docs_block(paths: list[str]) -> str:
    parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
    return "\n\n".join(parts)

def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
    return (
        [{"role": "system", "content": SYSTEM},
         {"role": "user", "content": docs_block(doc_paths)}]
        + history                                   # append-only
        + [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
    )

resp = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=build_messages(history, question, now_iso, files),
    tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]
```

Dalawang detalye. Nasa huling mensahe ang kasalukuyang oras, hindi sa system prompt. At iniimbak ng history ang assistant message nang eksakto kung paano ito ibinalik, kaya magkaparehong byte ang ipapadala ulit ng susunod na call.

## Paano patunayang naka-cache ang prefix?

Magpatakbo ng two-call na test sa CI o sa isang notebook:

1.  Bumuo ng request gamit ang totoong system prompt, tools at mga dokumento mo.
2.  Ipadala ito. Itala ang `usage.prompt_tokens`.
3.  Baguhin lang ang huling user message at ipadala ulit.
4.  Basahin ang `usage.prompt_tokens_details.cached_tokens` sa pangalawang call. Dapat sakop nito ang halos buong shared na prefix.
5.  Kung zero o maliit ito, i-diff ang mga naka-serialize na request body byte por byte. Ang unang pagkakaiba ang sumisira sa cache mo.

Best-effort ang caching sa karamihan ng provider, at diretsahan itong sinasabi ng docs ng DeepSeek, kaya hindi patunay ng bug ang iisang miss. Ang tuloy-tuloy na miss ang patunay. Subaybayan ang ratio ng cached sa prompt token kada request sa [usage logs](https://broadrouter.com/fil/blog/llm-api-usage-logging/) mo, at gamitin ang [prompt caching calculator](https://broadrouter.com/tools/prompt-caching-calculator/) para makita kung magkano ang natitipid ng mas mataas na hit rate.

## Paano ito nagbabago para sa mga agent at mahabang context?

Pinakamalaki ang pakinabang ng mga agent dahil ipinapadala nila ulit ang parehong malaking prefix nang dose-dosenang beses kada task. Dalawang gawi ang mahalaga:

-   **Isang usapan kada task.** Itinatapon ang prefix kapag nagsisimula ng bagong usapan para sa bawat sub-step.
-   **Basahin ang mga file nang isang beses, malapit sa itaas.** Kung binabasa ulit ng agent ang isang file, idugtong ang bagong kopya imbes na palitan ang luma, maliban kung nagbago ang file.

Sa isang [1M-token na context window](https://broadrouter.com/fil/blog/million-token-context-window-guide/), kayang hawakan ng layer 3 ang buong repository. Abot-kaya iyon sa isang per-token na key kapag naka-cache lang, kaya habang lumalaki ang mga prompt, lalong nagiging mahalaga ang ayos ng mga layer. Kadalasan, pinapaikli rin ng mga naka-cache na prefix ang time to first token; tingnan ang [TTFT vs throughput](https://broadrouter.com/fil/blog/llm-latency-ttft-throughput/).

## Saan pumapasok ang BroadNet Inference

Sa BroadNet Inference, iniuulat ng usage block ang `prompt_tokens_details.cached_tokens` kapag iniuulat ito ng model, at sinisingil ang cached input sa [DeepSeek V4.1 Flash](https://broadrouter.com/fil/models/deepseek-v4.1-flash/), [GLM 5.3](https://broadrouter.com/fil/models/glm-5.3/) at [Qwen3.8 27B](https://broadrouter.com/fil/models/qwen3.8-27b/) sa mas mababang rate na nakalista sa [pricing page](https://broadrouter.com/fil/pricing/). Walang iniaalok ang BroadNet na tahasang cache breakpoint o cache key parameter sa docs nito, kaya ang layout sa itaas na ang buong teknik. Sa isang unlimited na plan, hindi binabago ng cache ang bill, dahil walang token meter ang mga session, pero nakakatulong pa rin sa latency ang parehong istruktura.

Mga libreng tool para rito (Ingles)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[Token](https://broadrouter.com/fil/glossary/token/)

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

[Tool calling (function calling)](https://broadrouter.com/fil/glossary/tool-calling/)

Ang tool calling, tinatawag ding function calling, ay feature ng LLM API kung saan nagbabalik ang model ng structured na request para magpatakbo ng function na tinukoy ng developer, kasama ang JSON arguments. Ang application ang nagpapatakbo ng function at nagpapadala pabalik ng resulta; hindi kailanman nagpapatakbo ng code ang model mismo.

[Cached input token (cached input tokens)](https://broadrouter.com/fil/glossary/cached-input-tokens/)

Ang cached input token ay prompt token na kamakailan lang naproseso ng LLM provider at magagamit ulit mula sa cache sa halip na kuwentahin muli, kadalasang paulit-ulit na prefix gaya ng system prompt o dokumento. Mas mababa ang singil dito kaysa sa bagong input token.

[System prompt](https://broadrouter.com/fil/glossary/system-prompt/)

Ang system prompt ay ang instruction na ipinapadala ng isang application sa language model bago ang usapan, kadalasan bilang mensaheng may system o developer role. Itinatakda nito ang role, mga patakaran, tono at format ng output ng model, at dapat itong sundin ng model kahit salungat ang mensahe ng user.

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

[AI agent](https://broadrouter.com/fil/glossary/agent/)

Ang AI agent ay isang system kung saan ang language model mismo ang nagdidirekta ng mga hakbang nito tungo sa isang layunin: pinipili nito kung aling tools ang tatawagin, binabasa ang mga resulta at umuulit hanggang makabuo ng huling sagot o maabot ang limit. Workflow naman ang karaniwang tawag sa fixed na script na tumatawag sa model sa takdang punto.

[API key](https://broadrouter.com/fil/glossary/api-key/)

Ang API key ay isang lihim na string na kumikilala at nagpapahintulot sa client na tumatawag sa isang API. Kadalasang hinihingi ito ng mga LLM API sa Authorization: Bearer header, at ang sinumang may hawak ng key ay makakagawa ng mga request na sisingilin sa account na may-ari nito.

[Input at output token (input and output tokens)](https://broadrouter.com/fil/glossary/input-and-output-tokens/)

Ang input token ay ang mga token na binabasa ng language model sa isang request, kasama ang system prompt, history ng usapan, tool definitions at mga larawan. Ang output token ay ang mga token na binubuo nito bilang sagot, kasama ang anumang reasoning. Kadalasang magkahiwalay ang presyo ng dalawa, at mas mahal ang output.

## Mga tanong

### Bakit mababa ang prompt cache hit rate ko?

May nagbabago malapit sa simula ng prompt sa bawat call. Ang karaniwang sanhi ay timestamp o request ID sa system prompt, tools na naka-serialize sa ibang ayos, mga retrieved na dokumento na nasa unahan ng mga instruction, o history na sinu-summarize at nire-rewrite.

### Dapat bang nasa unahan o hulihan ng mahahabang dokumento ang tanong ng user?

Sa hulihan. Unahin ang mga dokumento at ilagay sa huli ang tanong. Sa ganoon, nagiging prefix na magagamit ulit ang mga dokumento, at mas mahusay ding sumagot ang maraming model kapag kasunod ng materyal ang tanong.

### Sinisira ba ng tool definitions ang prompt caching?

Kung nagbabago lang sila. Bahagi ng prefix ang tools, kaya panatilihin ang parehong set sa parehong ayos at parehong JSON. Para limitahan ang tools sa isang call, gamitin ang tool\_choice imbes na baguhin ang listahan.

### Mahalaga ba ang ayos ng few-shot example para sa caching?

Oo. Ibang prefix ang nabubuo sa bawat pagkakataon kapag binabalasa ang mga example. I-fix ang ayos, o ilagay pagkatapos ng stable na bahagi ang mga example na nagbabago kada request.

## Magbasa pa

-   [Cached input token: paano nito binabawasan ang LLM API bill mo](https://broadrouter.com/fil/blog/cached-input-tokens-explained/)
-   [Kailan sulit ang 1M-token na context window (at kailan hindi)](https://broadrouter.com/fil/blog/million-token-context-window-guide/)
-   [Flat-rate vs pay-per-token na LLM API: ang break-even math](https://broadrouter.com/fil/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [GPU hardware at paraan ng serving ng BroadNet, ayon sa BroadNet](https://broadrouter.com/fil/blog/broadnet-gpu-fleet-and-serving/)
-   [I-cache ang LLM API response, makatipid: exact-match cache sa Python](https://broadrouter.com/fil/blog/cache-llm-responses-cut-cost/)
-   [Gabay: Paano mag-stream ng chat completions at ayusin ang naputol na stream](https://broadrouter.com/fil/guides/streaming-chat-completions/)
-   [Gabay: Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-prompt-structure-for-caching&utm_content=page-cta) ·

**Mga source**

-   [API reference ng BroadNet Inference, cached token sa usage (sinuri noong 2026-11-16) (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-prompt-structure-for-caching&utm_content=sources)
-   [Prompt caching guide ng OpenAI, prefix matching at payo sa pag-aayos (kinuha noong 2026-11-14)](https://developers.openai.com/api/docs/guides/prompt-caching)
-   [Prompt caching docs ng Anthropic, ayos ng cache na tools, system, saka messages (sinuri noong 2026-11-16)](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)
-   [Docs ng DeepSeek API, context caching (kinuha noong 2026-11-14)](https://api-docs.deepseek.com/guides/kv_cache)
