Phần lớn những gì một agent gửi tới LLM đều giống nhau ở mỗi lượt: system prompt, định nghĩa công cụ, các file nó đang làm việc và cuộc hội thoại tới lúc đó. Chỉ tin nhắn cuối cùng là mới. Prompt caching nghĩa là nhà cung cấp không tính đủ giá cho phần lặp lại đó.
Token đầu vào từ cache là gì?
Mỗi request gồm token đầu vào và đầu ra. Trước khi trả lời, model phải xử lý toàn bộ prompt. Nếu một request trước đó bắt đầu bằng đúng những token y hệt, hệ thống phục vụ có thể dùng lại phần việc đó thay vì làm lại. Phần được dùng lại được báo cáo là token đầu vào từ cache và tính giá thấp hơn.
Từ cách hoạt động này suy ra hai điều:
- Chỉ phần đầu (prefix) được cache. Việc so khớp chạy từ token đầu tiên trở đi và dừng ở chỗ khác biệt đầu tiên.
- Câu trả lời không bao giờ được cache. Model vẫn sinh đầu ra mới, tính đủ giá đầu ra.
Token cache trên BroadNet Inference giá bao nhiêu?
Giá cho 1 triệu token, theo file giá công khai:
| Model | Đầu vào mới | Đầu vào từ cache | Đầu ra |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
Với DeepSeek V4.1 Flash, khoảng cách rất lớn: hãy so $0.0055 cho 1 triệu token cache với $0.175 cho 1 triệu token mới. Với một agent gửi lại repository 200.000 token ở mỗi lượt, tỷ lệ cache quyết định phần lớn hóa đơn.
Cache tiết kiệm được bao nhiêu? Ví dụ tính toán
Một coding agent gửi prompt 200.000 token 100 lần trong một ngày làm việc. Tức là 20 triệu token đầu vào mỗi ngày.
| Tỷ lệ cache | Token đầu vào mới | Token đầu vào từ cache |
|---|---|---|
| 0% | 20M, giá $0.175 cho 1 triệu | 0 |
| 50% | 10M, giá $0.175 cho 1 triệu | 10M, giá $0.0055 cho 1 triệu |
| 90% | 2M, giá $0.175 cho 1 triệu | 18M, giá $0.0055 cho 1 triệu |
Công thức tính tiền đầu vào mỗi ngày là new tokens (M) × input price + cached tokens (M) × cached price. Ở mức 90%, 18M trong số 20M token đầu vào được tính theo giá cache thay vì giá đầu vào đầy đủ, nên khoảng cách giữa hai mức giá càng lớn thì bạn càng tiết kiệm được nhiều trên phần đầu vào của hóa đơn. Đầu ra không đổi. Hãy thử số liệu của bạn trong công cụ tính prompt caching.
Làm sao xem token cache trong phản hồi API?
Tài liệu tham chiếu API của BroadNet cho biết khi model có báo cáo, đối tượng usage chứa prompt_tokens_details.cached_tokens: số token prompt được đọc từ cache và tính theo giá cache. Khi dùng streaming, hãy yêu cầu usage ở chunk cuối:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
Hãy ghi log tỷ lệ đó cho từng request trong một ngày. Nó cho biết bạn thực sự trả bao nhiêu, và đó là con số cần nhập vào công cụ tính prompt caching. Xem thêm về usage khi streaming trong hướng dẫn streaming.
Prompt caching của OpenAI, Anthropic và DeepSeek khác nhau thế nào?
Cache chưa được chuẩn hóa. Đây là những gì tài liệu chính thức ghi khi chúng tôi truy cập ngày 14 tháng 11 năm 2026:
| OpenAI | Anthropic | DeepSeek (API trực tiếp) | |
|---|---|---|---|
| Bật | Mặc định cho các model được hỗ trợ | Tự bật bằng trường cache_control (tự động hoặc theo từng khối) |
Mặc định cho mọi người dùng |
| Prompt tối thiểu | 1.024 token trên GPT-5.6 trở về sau | 512 đến 4.096 token, tùy model | Không nêu mức tối thiểu |
| Thời gian giữ cache | Mặc định 30 phút trên GPT-5.6 trở về sau; có tùy chọn 12 giờ | Mặc định 5 phút, 1 giờ nếu trả thêm | Cố gắng tối đa (best effort); bị xóa khi không dùng, “a few hours to a few days” (bản dịch: từ vài giờ đến vài ngày) |
| Ghi cache | 1,25× giá đầu vào (30 phút) hoặc 2,5× (12 giờ) trên GPT-5.6 trở về sau | 1,25× giá đầu vào cho 5 phút, 2× cho 1 giờ | Không nhắc tới phí ghi |
| Đọc cache | 0,1× giá đầu vào trên GPT-5.6 trở về sau (0,05× trên GPT-6.1 Sol và Terra) | 0,1× giá đầu vào trên phần lớn model, thấp hơn ở một số model | Giá “cache hit” (bản dịch: trúng cache) riêng |
| Trường usage | cached_tokens trong phần chi tiết token |
cache_read_input_tokens |
prompt_cache_hit_tokens |
Nguồn: hướng dẫn prompt caching của OpenAI, tài liệu prompt caching của Anthropic và tài liệu context caching của DeepSeek. Ở những nơi ghi cache tốn thêm phí, một cache được ghi nhưng không bao giờ được đọc sẽ tốn hơn cả không dùng cache. Cache chỉ có lợi với những prompt bạn thực sự lặp lại. Để so sánh giá niêm yết theo model, xem bảng giá API LLM.
Điều gì làm giảm tỷ lệ cache?
Cache so khớp một phần đầu chính xác, nên bất cứ thứ gì thay đổi sớm trong prompt đều biến phần còn lại thành mới. Các nguyên nhân thường gặp:
- timestamp, request ID hoặc tên người dùng ở gần đầu system prompt;
- định nghĩa công cụ hoặc JSON được serialize với thứ tự khóa khác nhau ở mỗi lần gọi, làm thay đổi token;
- agent viết lại hoặc tóm tắt lịch sử thay vì nối thêm vào sau;
- khoảng nghỉ dài, sau đó cache đã hết hạn.
Cách sửa là cố định thứ tự các lớp (system prompt, công cụ, tài liệu, lịch sử, tin nhắn mới), với mỗi lớp giống hệt từng byte giữa các lần gọi. Hướng dẫn cách cấu trúc prompt để phần đầu được cache trình bày bố cục đó bằng code, kèm một bài test chứng minh phần đầu được dùng lại.
Khi nào cache không còn quan trọng?
Với gói giá cố định, hóa đơn hoàn toàn không phụ thuộc vào token. Full Moon có giá $60 mỗi tháng cho mỗi phiên, dùng DeepSeek V4.1 Flash không giới hạn. Nếu agent của bạn đã vượt điểm hòa vốn, tỷ lệ cache không còn là vấn đề chi phí. Với prompt dài, các thói quen trên vẫn giúp tăng tốc, nên đằng nào cũng đáng giữ.
Vì sao cache quan trọng hơn khi context dài?
DeepSeek V4.1 Flash và GLM 5.3 nhận tới 1.048.576 token mỗi request. Chính cache làm cho prompt rất dài trở nên vừa túi tiền trên key tính theo token, vì phần lớn, lặp lại của cửa sổ context được tính theo giá cache. Xem khi nào cửa sổ context 1 triệu token đáng dùng.
BroadNet Inference phù hợp ở đâu?
BroadNet công bố giá đầu vào từ cache cho từng model chat có hỗ trợ, và báo cáo token cache trong usage khi model có báo cáo, nên bạn đo được tỷ lệ của mình trước khi cam kết. BroadNet không công bố thời gian giữ cache hay độ dài prompt tối thiểu, nên hãy đo chúng trên traffic của chính bạn. Nếu agent chạy cả ngày, một gói giá cố định sẽ xóa hẳn câu hỏi này.
