Token đầu vào từ cache rất rẻ, và trên BroadNet Inference, DeepSeek V4.1 Flash tính chúng $0.0055 mỗi 1M thay vì $0.175. Bài giải thích token từ cache đề cập giá và cách đọc trường usage. Bài này nói về phần thiết kế: cách sắp xếp prompt để cache thực sự trúng, và cách chứng minh điều đó.
Vì sao thứ tự prompt quyết định tỷ lệ cache hit?
Mọi nhà cung cấp lớn đều cache theo phần đầu (prefix). Hướng dẫn của OpenAI nói việc tái sử dụng đòi hỏi toàn bộ phần đầu đã render phải khớp. Tài liệu của DeepSeek mô tả cùng quy tắc: một request chỉ trúng nếu khớp hoàn toàn một phần đầu đã lưu, và request lệch ở giữa chừng thì không trúng. Anthropic xây cache theo thứ tự tool, system, message.
Bên dưới, máy chủ tái sử dụng KV cache mà nó đã dựng cho phần đầu đó. Vì vậy cache là một đường thẳng tính từ token đầu tiên. Byte đầu tiên khác với lời gọi trước sẽ kết thúc phần tái sử dụng được. Một dòng thời gian ở đầu một prompt 50.000 token khiến bạn phải trả giá đầy đủ cho cả 50.000 token.
Thứ tự lớp đúng là gì?
| Lớp | Thay đổi khi | Ví dụ | Quy tắc |
|---|---|---|---|
| 1. System prompt | Mỗi lần deploy | Vai trò, quy tắc, định dạng đầu ra | Không có ngày, ID, tên người dùng |
| 2. Định nghĩa tool | Mỗi lần deploy | Schema của hàm | JSON đã sắp xếp, xác định |
| 3. Tài liệu tham khảo | Mỗi phiên hoặc tác vụ | File trong repo, hợp đồng, tài liệu sản phẩm | Thứ tự cố định, nhãn ổn định |
| 4. Lịch sử hội thoại | Mỗi lượt, chỉ nối thêm | Các lượt người dùng và trợ lý trước đó | Không bao giờ sửa; chỉ thêm |
| 5. Message mới | Mọi lời gọi | Câu hỏi, cộng thời gian hiện tại nếu cần | Dữ liệu hay thay đổi đặt ở đây |
Lớp 5 là nơi dành cho mọi thứ hay thay đổi: ngày hiện tại, locale của người dùng, request ID, các đoạn truy xuất khác nhau theo từng câu hỏi.
Điều gì phá phần đầu mà bạn không nhận ra?
- Thứ tự dictionary. Framework thường dựng mảng
toolstừ một dict hoặc registry. Nếu plugin nạp theo thứ tự khác, các byte sẽ thay đổi. - Định dạng JSON.
json.dumps(x)vàjson.dumps(x, indent=2)là hai phần đầu khác nhau. Hai bộ tuần tự hóa với thứ tự key khác nhau cũng vậy. - Khoảng trắng trong template. Một dấu cách thừa ở cuối, hoặc
\r\ntừ một nhánh code và\ntừ nhánh khác. - Danh sách tool động. Gỡ các tool mà người dùng không được dùng sẽ làm thay đổi phần đầu. Hướng dẫn của OpenAI khuyên giữ định nghĩa ổn định và giới hạn việc dùng bằng
tool_choicehoặc thiết lập allowed-tools. - Tóm tắt lịch sử tại chỗ. Viết lại các lượt cũ thành bản tóm tắt sẽ đặt lại mọi thứ sau system prompt. Hãy tóm tắt thưa và theo từng bước lớn.
- Truy xuất đặt trước chỉ dẫn. Các đoạn RAG nằm giữa system prompt và tool khác nhau theo từng truy vấn và phá luôn cả lớp tool.
Dựng một request thân thiện với cache bằng code thế nào?
Hãy làm cho mỗi lớp chỉ phụ thuộc vào đầu vào ổn định, và tuần tự hóa một cách xác định:
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = open("prompts/system.md").read() # versioned file, no templating
def stable_tools(registry: dict) -> list:
# Sort by name, sort keys inside each schema.
return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]
def docs_block(paths: list[str]) -> str:
parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
return "\n\n".join(parts)
def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
return (
[{"role": "system", "content": SYSTEM},
{"role": "user", "content": docs_block(doc_paths)}]
+ history # append-only
+ [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
)
resp = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=build_messages(history, question, now_iso, files),
tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]
Hai chi tiết. Thời gian hiện tại nằm trong message cuối, không nằm trong system prompt. Và lịch sử lưu message của trợ lý đúng như được trả về, nên lời gọi tiếp theo gửi lại đúng các byte giống hệt.
Làm sao chứng minh phần đầu đã được cache?
Chạy một phép thử hai lời gọi trong CI hoặc notebook:
- Dựng một request với system prompt, tool và tài liệu thật của bạn.
- Gửi đi. Ghi lại
usage.prompt_tokens. - Chỉ thay đổi message người dùng cuối cùng và gửi lại.
- Đọc
usage.prompt_tokens_details.cached_tokensở lời gọi thứ hai. Nó phải bao phủ gần hết phần đầu dùng chung. - Nếu bằng không hoặc nhỏ, hãy so từng byte phần thân request đã tuần tự hóa. Chỗ khác biệt đầu tiên chính là thứ phá cache.
Ở phần lớn nhà cung cấp, cache hoạt động theo kiểu cố gắng tối đa (best-effort), và tài liệu của DeepSeek nói thẳng điều đó, nên một lần trượt chưa phải bằng chứng có bug. Trượt liên tục mới là bằng chứng. Hãy theo dõi tỷ lệ token từ cache trên token prompt của mỗi request trong log mức dùng, và dùng công cụ tính prompt caching để xem tỷ lệ trúng cao hơn tiết kiệm được bao nhiêu.
Với agent và context dài thì có gì khác?
Agent hưởng lợi nhiều nhất vì chúng gửi lại cùng một phần đầu lớn hàng chục lần mỗi tác vụ. Hai thói quen quan trọng:
- Mỗi tác vụ một cuộc hội thoại. Bắt đầu hội thoại mới cho mỗi bước con sẽ vứt bỏ phần đầu.
- Đọc file một lần, gần đầu prompt. Nếu agent đọc lại một file, hãy nối bản mới vào sau thay vì thay bản cũ, trừ khi file đã thay đổi.
Với cửa sổ context 1M token, lớp 3 có thể chứa cả một repository. Điều đó chỉ kham nổi trên key trả theo token khi nó được cache, và đó là lý do thứ tự lớp càng quan trọng khi prompt càng lớn. Phần đầu được cache cũng thường giảm thời gian tới token đầu tiên; xem TTFT và thông lượng.
BroadNet Inference phù hợp ở đâu
Trên BroadNet Inference, khối usage báo cáo prompt_tokens_details.cached_tokens khi model có báo cáo, và đầu vào từ cache trên DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B được tính theo mức giá thấp hơn ghi trên trang giá. Tài liệu của BroadNet không cung cấp điểm ngắt cache tường minh hay tham số cache key, nên bố cục ở trên là toàn bộ kỹ thuật. Trên gói không giới hạn, cache không thay đổi hóa đơn vì phiên không đếm token, nhưng cùng cấu trúc đó vẫn giúp giảm độ trễ.
