Phần lớn những gì một agent gửi đi đều giống nhau ở mọi lượt. Prompt caching cho phép nhà cung cấp bỏ qua việc tính toán lại phần lặp lại đó và tính phí thấp hơn.
Cách hoạt động
Khi đọc prompt, model tính toán trạng thái nội bộ cho từng token. Nhà cung cấp có thể giữ trạng thái đó trong một thời gian ngắn. Nếu request tiếp theo bắt đầu bằng đúng những token đó, nhà cung cấp đọc trạng thái đã lưu thay vì tính lại. Những token đó là token đầu vào từ cache.
Cache khớp từ đầu prompt. Hướng dẫn của OpenAI nói việc dùng lại “requires the entire rendered prefix to match.” (Bản dịch: đòi hỏi toàn bộ phần đầu đã render phải khớp). Chỉ một ký tự thay đổi ở đầu prompt cũng khiến mọi thứ phía sau thành đầu vào mới.
Chi tiết khác nhau giữa các nhà cung cấp:
- OpenAI bật cache mặc định trên các model được hỗ trợ và báo số lần trúng cache trong khối usage. OpenAI ghi rõ phần đầu tối thiểu 1.024 token trên các model mới hơn của họ.
- Anthropic tính phí đọc cache bằng 0,1 lần giá đầu vào cơ bản với hầu hết model, tính phí ghi cache cao hơn giá thường, và mặc định giữ mục cache trong 5 phút.
Ở định dạng Chat Completions, số token trúng cache xuất hiện tại usage.prompt_tokens_details.cached_tokens. Tỷ lệ cache là con số đó chia cho prompt_tokens.
Vì sao quan trọng
Với prompt dài và lặp lại, tỷ lệ cache quyết định hóa đơn. Một agent gửi lại repository 200.000 token ở mỗi lượt chỉ trả giá đầu vào đầy đủ một lần và giá cache từ đó về sau, miễn là phần đầu giữ ổn định. Cache cũng có thể rút ngắn thời gian đến token đầu tiên với prompt dài, vì có ít việc phải làm hơn trước khi bắt đầu sinh văn bản.
Để tăng tỷ lệ cache, hãy đặt nội dung ổn định lên trước (system prompt, định nghĩa tool, tài liệu) và nội dung thay đổi ở cuối. Đừng để timestamp và request ID ở đầu prompt, và giữ danh sách tool theo thứ tự cố định. Tỷ lệ nhà cung cấp có công bố giá đầu vào từ cache trong bảng giá, và mức giảm điển hình, có trong chỉ số giá API LLM.
Trên BroadNet Inference
BroadNet công bố giá đầu vào từ cache cho ba model chat, tính trên 1 triệu token:
| Model | Đầu vào mới | Đầu vào từ cache |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
Token từ cache được tự động tính theo giá thấp hơn, và prompt_tokens_details.cached_tokens hiển thị chúng khi model có báo cáo. Khi dùng stream, hãy yêu cầu usage bằng stream_options như trong hướng dẫn streaming.
Với gói giá cố định thì không có đồng hồ đo token, nên tỷ lệ cache không làm thay đổi hóa đơn. Hướng dẫn đầy đủ, kèm code để ghi log tỷ lệ cache của bạn, có trong giải thích token đầu vào từ cache.