---
title: "Cấu trúc prompt cho cache: thiết kế phần đầu ổn định"
description: "Cách sắp xếp prompt LLM để phần đầu được cache luôn giống hệt: system prompt, tool schema, tài liệu, lịch sử chỉ nối thêm, cùng một phép thử để chứng minh điều đó."
url: https://broadrouter.com/vi/blog/prompt-structure-for-caching/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/prompt-structure-for-caching/) (cập nhật ngày 2026-11-16).

# Cách cấu trúc prompt để phần đầu được cache

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày 2026-11-14 · Cập nhật 2026-11-16

Sắp xếp mọi request từ ổn định nhất tới kém ổn định nhất: system prompt, định nghĩa tool, tài liệu tham khảo, lịch sử hội thoại, rồi message mới. Giữ mỗi lớp giống hệt từng byte giữa các lần gọi: không để thời gian hay ID ở đầu, sắp xếp tool, tuần tự hóa JSON xác định, lịch sử chỉ nối thêm. Rồi đo cached\_tokens để xác nhận phần đầu được tái sử dụng.

## Ý chính

-   Cache khớp theo phần đầu chính xác. Một byte thay đổi làm mất hiệu lực mọi thứ phía sau, nên thứ tự các lớp quan trọng hơn kích thước của chúng.
-   Bốn lớp, ổn định nhất đặt trước: system prompt, tool, tài liệu, lịch sử. Lượt người dùng mới đặt cuối cùng.
-   Tuần tự hóa tool và tài liệu JSON với key đã sắp xếp và dấu phân cách cố định; thứ tự dictionary là thứ âm thầm phá cache.
-   Giới hạn tool cho từng lời gọi bằng tool\_choice thay vì gỡ bỏ định nghĩa tool.
-   Hãy kiểm thử: gửi cùng một phần đầu hai lần và kiểm tra prompt\_tokens\_details.cached\_tokens tăng ở lời gọi thứ hai.

**Trong trang này**

1.  Vì sao thứ tự prompt quyết định tỷ lệ cache hit?
2.  Thứ tự lớp đúng là gì?
3.  Điều gì phá phần đầu mà bạn không nhận ra?
4.  Dựng một request thân thiện với cache bằng code thế nào?
5.  Làm sao chứng minh phần đầu đã được cache?
6.  Với agent và context dài thì có gì khác?
7.  BroadNet Inference phù hợp ở đâu

[Token đầu vào từ cache](https://broadrouter.com/vi/glossary/cached-input-tokens/) rất rẻ, và trên BroadNet Inference, DeepSeek V4.1 Flash tính chúng $0.0055 mỗi 1M thay vì $0.175. [Bài giải thích token từ cache](https://broadrouter.com/vi/blog/cached-input-tokens-explained/) đề cập giá và cách đọc trường usage. Bài này nói về phần thiết kế: cách sắp xếp prompt để cache thực sự trúng, và cách chứng minh điều đó.

## Vì sao thứ tự prompt quyết định tỷ lệ cache hit?

Mọi nhà cung cấp lớn đều cache theo **phần đầu (prefix)**. Hướng dẫn của OpenAI nói việc tái sử dụng đòi hỏi toàn bộ phần đầu đã render phải khớp. Tài liệu của DeepSeek mô tả cùng quy tắc: một request chỉ trúng nếu khớp hoàn toàn một phần đầu đã lưu, và request lệch ở giữa chừng thì không trúng. Anthropic xây cache theo thứ tự tool, system, message.

Bên dưới, máy chủ tái sử dụng [KV cache](https://broadrouter.com/vi/glossary/kv-cache/) mà nó đã dựng cho phần đầu đó. Vì vậy cache là một đường thẳng tính từ token đầu tiên. Byte đầu tiên khác với lời gọi trước sẽ kết thúc phần tái sử dụng được. Một dòng thời gian ở đầu một prompt 50.000 token khiến bạn phải trả giá đầy đủ cho cả 50.000 token.

## Thứ tự lớp đúng là gì?

| Lớp | Thay đổi khi | Ví dụ | Quy tắc |
| --- | --- | --- | --- |
| 1\. System prompt | Mỗi lần deploy | Vai trò, quy tắc, định dạng đầu ra | Không có ngày, ID, tên người dùng |
| 2\. Định nghĩa tool | Mỗi lần deploy | Schema của hàm | JSON đã sắp xếp, xác định |
| 3\. Tài liệu tham khảo | Mỗi phiên hoặc tác vụ | File trong repo, hợp đồng, tài liệu sản phẩm | Thứ tự cố định, nhãn ổn định |
| 4\. Lịch sử hội thoại | Mỗi lượt, chỉ nối thêm | Các lượt người dùng và trợ lý trước đó | Không bao giờ sửa; chỉ thêm |
| 5\. Message mới | Mọi lời gọi | Câu hỏi, cộng thời gian hiện tại nếu cần | Dữ liệu hay thay đổi đặt ở đây |

Lớp 5 là nơi dành cho mọi thứ hay thay đổi: ngày hiện tại, locale của người dùng, request ID, các đoạn truy xuất khác nhau theo từng câu hỏi.

## Điều gì phá phần đầu mà bạn không nhận ra?

1.  **Thứ tự dictionary.** Framework thường dựng mảng `tools` từ một dict hoặc registry. Nếu plugin nạp theo thứ tự khác, các byte sẽ thay đổi.
2.  **Định dạng JSON.** `json.dumps(x)` và `json.dumps(x, indent=2)` là hai phần đầu khác nhau. Hai bộ tuần tự hóa với thứ tự key khác nhau cũng vậy.
3.  **Khoảng trắng trong template.** Một dấu cách thừa ở cuối, hoặc `\r\n` từ một nhánh code và `\n` từ nhánh khác.
4.  **Danh sách tool động.** Gỡ các tool mà người dùng không được dùng sẽ làm thay đổi phần đầu. Hướng dẫn của OpenAI khuyên giữ định nghĩa ổn định và giới hạn việc dùng bằng `tool_choice` hoặc thiết lập allowed-tools.
5.  **Tóm tắt lịch sử tại chỗ.** Viết lại các lượt cũ thành bản tóm tắt sẽ đặt lại mọi thứ sau system prompt. Hãy tóm tắt thưa và theo từng bước lớn.
6.  **Truy xuất đặt trước chỉ dẫn.** Các đoạn RAG nằm giữa system prompt và tool khác nhau theo từng truy vấn và phá luôn cả lớp tool.

## Dựng một request thân thiện với cache bằng code thế nào?

Hãy làm cho mỗi lớp chỉ phụ thuộc vào đầu vào ổn định, và tuần tự hóa một cách xác định:

```python
import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = open("prompts/system.md").read()  # versioned file, no templating

def stable_tools(registry: dict) -> list:
    # Sort by name, sort keys inside each schema.
    return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]

def docs_block(paths: list[str]) -> str:
    parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
    return "\n\n".join(parts)

def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
    return (
        [{"role": "system", "content": SYSTEM},
         {"role": "user", "content": docs_block(doc_paths)}]
        + history                                   # append-only
        + [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
    )

resp = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=build_messages(history, question, now_iso, files),
    tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]
```

Hai chi tiết. Thời gian hiện tại nằm trong message cuối, không nằm trong system prompt. Và lịch sử lưu message của trợ lý đúng như được trả về, nên lời gọi tiếp theo gửi lại đúng các byte giống hệt.

## Làm sao chứng minh phần đầu đã được cache?

Chạy một phép thử hai lời gọi trong CI hoặc notebook:

1.  Dựng một request với system prompt, tool và tài liệu thật của bạn.
2.  Gửi đi. Ghi lại `usage.prompt_tokens`.
3.  Chỉ thay đổi message người dùng cuối cùng và gửi lại.
4.  Đọc `usage.prompt_tokens_details.cached_tokens` ở lời gọi thứ hai. Nó phải bao phủ gần hết phần đầu dùng chung.
5.  Nếu bằng không hoặc nhỏ, hãy so từng byte phần thân request đã tuần tự hóa. Chỗ khác biệt đầu tiên chính là thứ phá cache.

Ở phần lớn nhà cung cấp, cache hoạt động theo kiểu cố gắng tối đa (best-effort), và tài liệu của DeepSeek nói thẳng điều đó, nên một lần trượt chưa phải bằng chứng có bug. Trượt liên tục mới là bằng chứng. Hãy theo dõi tỷ lệ token từ cache trên token prompt của mỗi request trong [log mức dùng](https://broadrouter.com/vi/blog/llm-api-usage-logging/), và dùng [công cụ tính prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/) để xem tỷ lệ trúng cao hơn tiết kiệm được bao nhiêu.

## Với agent và context dài thì có gì khác?

Agent hưởng lợi nhiều nhất vì chúng gửi lại cùng một phần đầu lớn hàng chục lần mỗi tác vụ. Hai thói quen quan trọng:

-   **Mỗi tác vụ một cuộc hội thoại.** Bắt đầu hội thoại mới cho mỗi bước con sẽ vứt bỏ phần đầu.
-   **Đọc file một lần, gần đầu prompt.** Nếu agent đọc lại một file, hãy nối bản mới vào sau thay vì thay bản cũ, trừ khi file đã thay đổi.

Với [cửa sổ context 1M token](https://broadrouter.com/vi/blog/million-token-context-window-guide/), lớp 3 có thể chứa cả một repository. Điều đó chỉ kham nổi trên key trả theo token khi nó được cache, và đó là lý do thứ tự lớp càng quan trọng khi prompt càng lớn. Phần đầu được cache cũng thường giảm thời gian tới token đầu tiên; xem [TTFT và thông lượng](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/).

## BroadNet Inference phù hợp ở đâu

Trên BroadNet Inference, khối usage báo cáo `prompt_tokens_details.cached_tokens` khi model có báo cáo, và đầu vào từ cache trên [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/), [GLM 5.3](https://broadrouter.com/vi/models/glm-5.3/) và [Qwen3.8 27B](https://broadrouter.com/vi/models/qwen3.8-27b/) được tính theo mức giá thấp hơn ghi trên [trang giá](https://broadrouter.com/vi/pricing/). Tài liệu của BroadNet không cung cấp điểm ngắt cache tường minh hay tham số cache key, nên bố cục ở trên là toàn bộ kỹ thuật. Trên gói không giới hạn, cache không thay đổi hóa đơn vì phiên không đếm token, nhưng cùng cấu trúc đó vẫn giúp giảm độ trễ.

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[System prompt (lời nhắc hệ thống)](https://broadrouter.com/vi/glossary/system-prompt/)

System prompt là đoạn chỉ dẫn mà ứng dụng gửi cho model ngôn ngữ trước cuộc hội thoại, thường là tin nhắn có vai trò system hoặc developer. Nó đặt vai trò, quy tắc, giọng điệu và định dạng đầu ra, và model được kỳ vọng tuân theo nó hơn các tin nhắn người dùng mâu thuẫn.

[Token đầu vào từ cache (cached input tokens)](https://broadrouter.com/vi/glossary/cached-input-tokens/)

Token đầu vào từ cache là token prompt mà nhà cung cấp LLM vừa xử lý gần đây và có thể dùng lại từ cache thay vì tính toán lại, thường là phần đầu lặp lại như system prompt hoặc tài liệu. Nhà cung cấp tính giá chúng thấp hơn token đầu vào mới.

[Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/)

Với API model ngôn ngữ, độ trễ (latency) là thời gian từ lúc gửi request tới khi nhận được token đầu ra cuối cùng. Nó bằng thời gian tới token đầu tiên cộng thời gian sinh, và thường được báo cáo theo percentile như p50 và p95 thay vì giá trị trung bình.

[Gói LLM giá cố định (flat-rate LLM plan)](https://broadrouter.com/vi/glossary/flat-rate-llm-plan/)

Gói LLM giá cố định tính một mức giá cố định cho mỗi kỳ, ví dụ một tháng, để dùng API mô hình ngôn ngữ thay vì tính theo token. Gói này thường giới hạn thứ khác, như số request đồng thời, tốc độ, model hay khung giờ sử dụng, nên giới hạn quan trọng không kém giá.

[KV cache (bộ nhớ đệm key-value)](https://broadrouter.com/vi/glossary/kv-cache/)

KV cache là vùng bộ nhớ nơi model transformer lưu key và value attention đã tính cho mọi token đã xử lý, để mỗi token mới dùng lại thay vì tính lại cả chuỗi. Nó lớn dần theo độ dài context và thường giới hạn số request một GPU phục vụ được.

[Thời gian tới token đầu tiên (TTFT)](https://broadrouter.com/vi/glossary/time-to-first-token/)

Thời gian tới token đầu tiên (TTFT) là khoảng thời gian từ lúc gửi request tới model ngôn ngữ cho tới khi token đầu ra đầu tiên đến. Nó gồm thời gian mạng, thời gian xếp hàng trên server và prefill, bước model đọc toàn bộ prompt, nên tăng theo độ dài prompt và tải.

[Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/)

Throughput (thông lượng), trong việc phục vụ LLM, là tổng khối lượng công việc một hệ thống hoàn thành trong một đơn vị thời gian trên mọi request đồng thời, thường đo bằng token đầu ra mỗi giây hoặc request mỗi giây. Nó khác với tốc độ từng luồng, tức tốc độ một request nhận token của nó.

## Câu hỏi thường gặp

### Vì sao tỷ lệ cache hit của prompt thấp?

Có thứ gì đó gần đầu prompt thay đổi ở mỗi lời gọi. Nguyên nhân thường gặp là thời gian hoặc request ID trong system prompt, tool được tuần tự hóa theo thứ tự khác, tài liệu truy xuất được đặt trước phần chỉ dẫn, hoặc lịch sử bị tóm tắt và viết lại.

### Câu hỏi của người dùng nên đặt trước hay sau tài liệu dài?

Sau. Đặt tài liệu trước và câu hỏi cuối cùng. Khi đó tài liệu tạo thành một phần đầu tái sử dụng được, và nhiều model cũng trả lời tốt hơn khi câu hỏi đứng sau tài liệu.

### Định nghĩa tool có phá prompt caching không?

Chỉ khi chúng thay đổi. Tool là một phần của phần đầu prompt, nên hãy giữ cùng một bộ tool, cùng thứ tự, cùng JSON. Để giới hạn tool cho một lời gọi, hãy dùng tool\_choice thay vì sửa danh sách.

### Thứ tự ví dụ few-shot có ảnh hưởng tới cache không?

Có. Ví dụ bị xáo trộn tạo ra một phần đầu khác mỗi lần. Hãy cố định thứ tự, hoặc đặt các ví dụ thay đổi theo từng request sau phần ổn định.

## Đọc tiếp

-   [Token đầu vào từ cache: cách giảm hóa đơn API LLM](https://broadrouter.com/vi/blog/cached-input-tokens-explained/)
-   [Khi nào context window 1M token đáng dùng (và khi nào không)](https://broadrouter.com/vi/blog/million-token-context-window-guide/)
-   [API LLM giá cố định hay trả theo token: phép tính hòa vốn](https://broadrouter.com/vi/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Hướng dẫn: Streaming chat completions và xử lý khi mất kết nối](https://broadrouter.com/vi/guides/streaming-chat-completions/)
-   [Hướng dẫn: Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-prompt-structure-for-caching&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu tham chiếu API BroadNet Inference, token từ cache trong usage (truy cập ngày 2026-11-16) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-prompt-structure-for-caching&utm_content=sources)
-   [Hướng dẫn prompt caching của OpenAI, khớp phần đầu và lời khuyên về cấu trúc (truy cập ngày 2026-11-14)](https://developers.openai.com/api/docs/guides/prompt-caching)
-   [Tài liệu prompt caching của Anthropic, thứ tự cache là tool rồi system rồi message (truy cập ngày 2026-11-16)](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)
-   [Tài liệu DeepSeek API, context caching (truy cập ngày 2026-11-14)](https://api-docs.deepseek.com/guides/kv_cache)
