Một coding agent làm việc suốt buổi chiều sẽ tích lũy rất nhiều lịch sử: file đã đọc, lệnh đã chạy, output của test, kế hoạch, các lần sửa. Mỗi lượt đều gửi lại toàn bộ cho model. Cách bạn quản lý context ngày càng lớn đó quyết định ba thứ cùng lúc: chi phí mỗi lượt, tốc độ trả lời, và việc agent còn nhớ mình đang làm gì hay không.
Cửa sổ 1M token thay đổi các đánh đổi này. Nó không làm chúng biến mất.
Cửa sổ 1M token mang lại gì cho agent chạy dài?
Trên BroadNet Inference, DeepSeek V4.1 Flash và GLM 5.3 nhận tối đa 1.048.576 token mỗi request, tính cả prompt và câu trả lời. Qwen3.8 27B nhận 262.144. Với cửa sổ nhỏ hơn, agent phải tóm tắt sau một hai giờ làm việc. Với một triệu token, thường nó có thể giữ toàn bộ lịch sử gốc của cả phiên và chỉ nén gần cuối một lần chạy rất dài.
Đó là lợi thế thật: bản tóm tắt luôn mất thông tin, và mỗi lần tóm tắt là một lần có thể quên đúng chi tiết quan trọng. Nhưng ba chi phí vẫn tăng theo prompt:
- Tiền, với key tính theo token, vì mỗi lượt gửi lại cả prompt.
- Độ trễ, vì server phải xử lý mọi token input trước token output đầu tiên.
- Sự chú ý. Chất lượng có thể giảm khi input lớn dần, hiện tượng gọi là context rot. Bài báo “Lost in the Middle” phát hiện model thường dùng thông tin ở đầu và cuối một input dài ổn định hơn thông tin ở giữa. Model mới hơn làm tốt hơn, nhưng thói quen đặt dữ kiện quan trọng gần hai đầu vẫn có ích.
Quy tắc 1: vì sao lịch sử nên chỉ nối thêm?
Prompt caching so khớp từ đầu prompt. Nếu 300.000 token đầu tiên của lượt này giống hệt lượt trước, chúng có thể được phục vụ từ cache; token đầu tiên bị thay đổi sẽ kết thúc phần khớp. API của BroadNet báo con số này trong usage.prompt_tokens_details.cached_tokens khi model có báo cáo, và tính input đã cache với giá thấp hơn: trên DeepSeek V4.1 Flash là $0.0055 mỗi 1M token, so với $0.175 cho input mới.
Vì vậy hãy dựng mọi request theo cùng một thứ tự và chỉ thêm vào cuối:
[ system prompt ] never changes during a session
[ tool definitions ] fixed order, never changes
[ project notes ] changes rarely, and only by appending
[ turn 1 ... turn N ] grows at the end
[ new message ]
Những thứ thường phá prefix là timestamp trong system prompt, định nghĩa tool có thứ tự không ổn định, và việc render lại kết quả tool cũ. Với agent, thêm một thứ nữa: kiểu cắt “cửa sổ trượt” bỏ lượt cũ nhất mỗi lần, làm dịch chuyển mọi thứ phía sau. Mỗi thứ trên biến một prompt đã cache thành prompt mới; cấu trúc prompt để tận dụng cache liệt kê phần còn lại, kèm một bài test chứng minh prefix đã được cache. Trong phiên dài, khác biệt rất lớn: phần lớn prompt có thể là input đã cache thay vì input mới. Xem cách tính phí input đã cache.
Quy tắc 2: đo tỷ lệ trúng cache thế nào?
Ghi log cho từng request. Với OpenAI SDK, ba dòng sau lời gọi là đủ:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
Một agent chỉ nối thêm khỏe mạnh sẽ có tỷ lệ cache cao ở mọi lượt sau lượt đầu. Nếu tỷ lệ đột ngột tụt gần về 0, nghĩa là có thứ gì đó ở đầu prompt đã thay đổi. Hãy tìm ra và cố định nó. Công cụ tính prompt caching đổi tỷ lệ cache thành số tiền mỗi phiên.
Quy tắc 3: context lớn dần thì nên cắt gì trước?
Khi thật sự cần thu nhỏ context, việc bỏ gì rất quan trọng. Trong phần lớn transcript của agent, khối lượng chủ yếu là output của tool: một log test 4.000 dòng, cả một file được đọc chỉ để tìm một hàm, một danh sách thư mục. Phần có giá trị lại nhỏ: kế hoạch, các quyết định và lý do, các lỗi đã sửa.
Thứ tự cắt, từ trước đến sau:
- Output tool đã cũ. Thay phần thân của kết quả tool cũ bằng một dòng tóm tắt: “ran pytest: 3 failures in test_api.py (fixed in turn 14)”.
- Nội dung file đã lỗi thời. Nếu agent đọc
api.py, sửa nó, rồi đọc lại, thì lần đọc đầu chỉ là gánh nặng. - Những lần khám phá không đi đến đâu. Các lần tìm kiếm và đọc không dẫn đến thay đổi nào.
- Suy luận và kế hoạch. Giữ những thứ này lâu nhất. Chúng giải thích vì sao code trông như hiện tại.
Cắt ngắn output tool ngay lúc nó được tạo ra còn tốt hơn. Đặt giới hạn cho mỗi kết quả tool (ví dụ 200 dòng cuối của log kèm tổng số dòng) và để agent tự xin thêm nếu cần. Như vậy lịch sử vừa chỉ nối thêm vừa nhỏ gọn.
Quy tắc 4: khi nào agent nên nén lịch sử?
Nén (compaction, tóm tắt lịch sử cũ thành một khối ngắn hơn) là công cụ nặng. Nó viết lại prefix, nên lượt ngay sau khi nén phải trả đủ giá input cho mọi thứ sau system prompt. Cứ vài lượt lại nén một chút nghĩa là trả cái giá đó lặp đi lặp lại.
Cách tốt hơn:
- Chọn ngưỡng cao. Với cửa sổ 1M, nén khi đầy khoảng 60–70% sẽ còn chỗ cho lượt tóm tắt và một đoạn dài công việc mới.
- Giữ nguyên văn phần gần nhất. Tóm tắt phần cũ và giữ nguyên các lượt cuối. Tài liệu về nén của opencode mô tả đúng cách này: tóm tắt cuộc hội thoại và giữ phần gần nhất, mặc định khoảng 15.000 token.
- Tóm tắt bằng toàn bộ prompt. Gửi cả cuộc hội thoại vào request tóm tắt để nó dùng lại cache của lượt trước.
- Nén một lần, rồi lại chỉ nối thêm. Sau khi nén, prefix mới ổn định và việc cache tiếp tục từ đó.
Quy tắc 5: file ghi chú nên chứa gì?
Có những dữ kiện phải tồn tại qua bất kỳ số lần nén nào: mục tiêu, các ràng buộc, các quyết định đã đưa ra, các lệnh build và test dự án. Hãy giữ chúng trong một file ghi chú ngắn (NOTES.md hoặc một file tác vụ) mà agent ghi thêm và đọc lại. File này nằm gần đầu prompt, hiếm khi thay đổi, và là thứ đầu tiên một phiên mới đọc nếu lần chạy khởi động lại.
Đây cũng là dạng bộ nhớ rẻ nhất: vài nghìn token giúp agent khỏi phải tìm lại cùng những dữ kiện đó sau mỗi lần tóm tắt.
Token suy luận ảnh hưởng ngân sách thế nào?
DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận được tính vào max_tokens. Phiên dài không thay đổi điều đó, nhưng prompt lớn dễ khiến người ta hạ max_tokens để “chừa chỗ”. Đừng làm vậy. Ngân sách output quá chật sẽ sinh ra câu trả lời rỗng, rồi agent lại retry. Xem vì sao câu trả lời trả về rỗng.
Cũng nhớ rằng cửa sổ tính cả prompt và câu trả lời. Khi prompt gần 1.048.576 token thì không còn chỗ để trả lời. Hãy nén trước khi đến đó; công cụ tính cửa sổ context cho biết một prompt cụ thể còn chừa bao nhiêu chỗ.
Với gói giá cố định thì điều này còn quan trọng không?
Trên một phiên của gói BroadNet, DeepSeek V4.1 Flash không đo token: một phiên Full Moon có giá $60 mỗi tháng dù prompt dài đến đâu. Lý do tiền bạc để dùng cache biến mất. Hai lý do còn lại thì không. Prefix đã cache thường được xử lý nhanh hơn trong nhiều hệ thống serving, và context được quản lý tốt cho câu trả lời tốt hơn. Thói quen vẫn vậy; chỉ có lý do thay đổi. Xem cách các phiên của gói hoạt động.
Checklist quản lý context
- System prompt và danh sách tool cố định suốt phiên.
- Lịch sử chỉ nối thêm; không bao giờ định dạng lại các lượt cũ.
- Ghi log tỷ lệ cache cho từng request.
- Giới hạn output tool ngay khi tạo ra; output cũ được thay bằng dòng tóm tắt sau đó.
- Nén ở ngưỡng cao, giữ nguyên văn phần gần nhất.
- Một file ghi chú chứa mục tiêu, ràng buộc và quyết định.
- Ngân sách output đủ lớn cho phần suy luận.
Để biết khi nào cửa sổ một triệu token thật sự đáng dùng, xem hướng dẫn về cửa sổ context 1M. Để dừng những phiên cứ phình ra mà không tiến triển, xem kiểm soát chi phí vòng lặp agent.
