---
title: "Token của AI agent đi đâu và cách cắt giảm | BroadRouter"
description: "System prompt, schema tool, đọc file, lịch sử và suy luận: vòng lặp agent tiêu token thế nào, cách đo từng phần từ dữ liệu usage và nên cắt gì trước."
url: https://broadrouter.com/vi/blog/agent-token-budget/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/agent-token-budget/) (cập nhật ngày 2026-11-14).

# Ngân sách token của agent: token trong vòng lặp agent đi đâu

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày 2026-11-14

Vòng lặp agent gửi lại toàn bộ context ở mỗi lần gọi: system prompt, định nghĩa tool, lịch sử hội thoại, nội dung file và output của tool, cộng bước mới. Đầu vào thường lớn hơn đầu ra nhiều lần. Hãy ghi prompt\_tokens, cached\_tokens và completion\_tokens cho mỗi lần gọi, tìm khối lặp lại lớn nhất, rồi bớt tool, giới hạn output tool và khởi động lại phiên dài.

## Ý chính

-   Mỗi lần gọi model đều gửi lại toàn bộ context. Một tác vụ 40 bước với 30.000 token mỗi lần gọi đọc 1,2 triệu token đầu vào.
-   Năm nhóm: system prompt, schema tool, lịch sử, đọc file và output tool, và đầu ra kể cả suy luận.
-   Đo theo từng lần gọi từ khối usage: prompt\_tokens, prompt\_tokens\_details.cached\_tokens và completion\_tokens.
-   Cursor cho biết system prompt và định nghĩa tool đã trở thành một trong những nguồn chi lớn nhất mà họ kiểm soát hoàn toàn.
-   Cắt theo thứ tự: tool không dùng, output tool quá lớn, lịch sử cũ, rồi tới system prompt. Giữ phần prefix ổn định y hệt để nó tiếp tục được cache.

**Trong trang này**

1.  Vì sao agent gửi lại mọi thứ?
2.  Token đi đâu?
3.  Đo bằng cách nào?
4.  Nên cắt gì trước?
5.  Vì sao phải giữ prefix ổn định?
6.  Một ngân sách agent mẫu trông thế nào?
7.  BroadNet Inference phù hợp ở đâu

Một cuộc chat tốn bằng những gì bạn gõ cộng những gì model viết. Một agent tốn nhiều hơn hẳn, vì nó gọi model hàng chục lần và gửi lại gần như mọi thứ mỗi lần. Nếu bạn muốn cắt chi phí đó, hoặc đơn giản là thôi chạm giới hạn [context window](https://broadrouter.com/vi/glossary/context-window/), bạn cần biết phần nào trong mỗi request là lớn. Bài này chia một vòng lặp agent thành năm nhóm, chỉ cách đo từng nhóm từ chính dữ liệu usage của API, và liệt kê những gì nên cắt trước.

## Vì sao agent gửi lại mọi thứ?

API chat completions là stateless. Model không nhớ gì giữa các lần gọi, nên agent gửi toàn bộ context ở mỗi bước. Một tác vụ 40 bước, mỗi lần gọi mang 30.000 token, đọc **1,2 triệu token đầu vào** để tạo ra có lẽ 40.000 token đầu ra. Tỷ lệ 30 trên 1 đó là lý do [token đầu vào](https://broadrouter.com/vi/glossary/input-and-output-tokens/) và giá cache của chúng chi phối hóa đơn agent.

## Token đi đâu?

| Nhóm | Là gì | Lặp lại ở mọi lần gọi? | Nguyên nhân thường gặp |
| --- | --- | --- | --- |
| System prompt | Chỉ dẫn cho agent, file quy tắc, ghi chú dự án | Có | File quy tắc dài |
| Schema tool | Tên, mô tả và JSON Schema của mọi tool | Có | Tool tích hợp sẵn cộng mọi MCP server |
| Lịch sử | Tin nhắn, tool call và kết quả trước đó | Có, và còn tăng | Phiên dài |
| Đọc file và output tool | Nội dung file, test log, kết quả tìm kiếm | Có, cho tới khi bị loại bỏ | Đọc cả file, lệnh in nhiều output |
| Đầu ra | Câu trả lời hiển thị, tool call và suy luận | Không | Mức suy luận, viết lại cả file |

Hai nhóm đầu là chi phí cố định. Tháng 9 năm 2026, Cursor viết rằng system prompt và định nghĩa tool “had become one of the largest sources of spend that we fully control” (bản dịch: đã trở thành một trong những nguồn chi lớn nhất mà chúng tôi kiểm soát hoàn toàn), và gọi việc đọc file là “another large source of token spend” (bản dịch: một nguồn chi token lớn khác). Các thay đổi của họ, gồm cắt khoảng hai phần ba system prompt và chỉ nạp khi cần những tool dùng trong dưới 20% cuộc hội thoại, đã giảm 7% chi phí token của người dùng. Nhóm VS Code của GitHub cũng nêu đúng hai khoản này cho Copilot: prefix prompt lặp lại và chi phí định nghĩa tool.

## Đo bằng cách nào?

Bạn không cần sản phẩm tracing. Khối usage trên mỗi response là đủ.

1.  **Bật usage.** Với streaming, thêm `stream_options: {"include_usage": true}`; usage nằm ở chunk cuối cùng. Xem [streaming](https://broadrouter.com/vi/guides/streaming-chat-completions/).
2.  **Ghi lại cho mỗi lần gọi:** số thứ tự bước, `prompt_tokens`, `prompt_tokens_details.cached_tokens`, `completion_tokens` và, khi có, `completion_tokens_details.reasoning_tokens`.
3.  **Đo chi phí cố định một lần.** Gửi một request chỉ có system prompt và tool, cùng chữ “hi”. `prompt_tokens` của nó là mức sàn.
4.  **Đo output của một tool.** Đếm số ký tự của mỗi kết quả tool trước khi nối vào. Chia cho bốn sẽ ra số token tiếng Anh ước chừng; dán một mẫu vào [công cụ đếm token](https://broadrouter.com/tools/token-counter/) miễn phí để có con số chính xác theo tokenizer của model.

```python
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)
```

Vẽ `prompt_tokens` theo từng bước. Độ dốc đều nghĩa là lịch sử đang tăng. Một bước nhảy đột ngột nghĩa là một file hay log lớn vừa vào context. Mức sàn cao nghĩa là quá nhiều tool.

Trong Aider, `/tokens` báo những gì đang có trong context hiện tại, và `/drop` loại file khỏi đó.

## Nên cắt gì trước?

Sắp theo kích thước nhân số lần lặp, không theo cái gì dễ nhất:

1.  **Tool không dùng.** Mọi schema tool đều đi kèm mọi lần gọi. Hướng dẫn của OpenAI nói định nghĩa function “are billed as input tokens” (bản dịch: được tính phí như token đầu vào) và gợi ý dưới 20 function ở đầu một lượt, như một quy tắc mềm. Hãy tắt các MCP server không dùng trong tác vụ này; tài liệu opencode nói rõ tool MCP tiêu tốn context của model.
2.  **Output tool.** Giới hạn output lệnh (200 dòng cuối của test log, không phải 20.000). Trả kết quả tìm kiếm dưới dạng đường dẫn và số dòng, rồi chỉ đọc phần cần.
3.  **Đọc file.** Đọc function, không đọc cả file. Repo map của Aider dùng ngân sách mặc định 1k token (`--map-tokens`) thay vì cả file.
4.  **Lịch sử.** Bắt đầu tác vụ mới cho mỗi thay đổi. Khi một phiên buộc phải tiếp tục, thay các lượt cũ bằng một bản tóm tắt ngắn.
5.  **System prompt.** Bỏ những quy tắc model vốn đã tuân theo. Giữ phần còn lại ổn định.
6.  **Đầu ra.** Yêu cầu diff, không yêu cầu cả file. Đặt `reasoning_effort` là `low` cho các bước thường ngày. [Token suy luận](https://broadrouter.com/vi/glossary/reasoning-tokens/) được tính như đầu ra.

## Vì sao phải giữ prefix ổn định?

Nhà cung cấp cache prefix lặp lại và tính phí thấp hơn. Trên BroadNet Inference, [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/) tính [đầu vào từ cache](https://broadrouter.com/vi/glossary/cached-input-tokens/) $0.0055 mỗi 1M token và đầu vào mới $0.175. [GLM 5.3](https://broadrouter.com/vi/models/glm-5.3/) tính $0.173 so với $0.78. Một timestamp trong system prompt, hay tool liệt kê theo thứ tự khác nhau mỗi lần gọi, sẽ phá cache từ điểm đó trở đi. Hãy đặt phần ổn định lên trước, theo thứ tự cố định, và phần thay đổi ở cuối. Xem thêm [giải thích token đầu vào từ cache](https://broadrouter.com/vi/blog/cached-input-tokens-explained/); [công cụ tính prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/) cho thấy một tỷ lệ hit nhất định tiết kiệm được bao nhiêu.

Cache hạ giá của prefix, nhưng không giảm kích thước của nó. Token từ cache vẫn chiếm chỗ trong context window và vẫn mất thời gian xử lý.

## Một ngân sách agent mẫu trông thế nào?

Lấy tác vụ 40 bước ở trên, với 80% đầu vào được cache:

| Phần | Token | Tính theo |
| --- | --- | --- |
| Đầu vào mới | 240.000 | Giá đầu vào |
| Đầu vào từ cache | 960.000 | Giá đầu vào từ cache |
| Đầu ra kể cả suy luận | 40.000 | Giá đầu ra |

Bỏ 5.000 token schema tool không dùng khỏi mỗi lần gọi sẽ loại 200.000 token đầu vào khỏi tác vụ này, khoảng một phần sáu tổng số, mà không thay đổi hành vi của agent. Với các đòn bẩy chi phí ngoài việc cắt gọt, như chọn model, cache và gói giá cố định, xem [10 cách giảm chi phí LLM cho coding agent](https://broadrouter.com/vi/blog/cut-coding-agent-llm-costs/). Với thiết lập multi-agent, hãy nhân với số agent; xem [chi phí thật của thiết lập multi-agent](https://broadrouter.com/vi/blog/multi-agent-cost/). Để mô hình hóa vòng lặp của bạn từng bước, dùng [công cụ ước tính chi phí chạy agent](https://broadrouter.com/tools/agent-run-cost-estimator/).

## BroadNet Inference phù hợp ở đâu

BroadNet Inference trả về prompt token và completion token trong khối usage, cùng token từ cache và token suy luận khi model báo, nên cách đo ở trên dùng được đúng như mô tả. Giá đầu vào từ cache thấp trên DeepSeek V4.1 Flash thưởng cho một prefix ổn định. Nếu việc cắt gọt không đáng thời gian của bạn, các gói không giới hạn bỏ việc đếm token cho DeepSeek V4.1 Flash với giá $60 mỗi phiên mỗi tháng; context window vẫn áp dụng, và context gọn vẫn chạy nhanh hơn. Các gói có tại [inference.broadnet.ai/plans](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-agent-token-budget&utm_content=body).

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Token đầu vào từ cache (cached input tokens)](https://broadrouter.com/vi/glossary/cached-input-tokens/)

Token đầu vào từ cache là token prompt mà nhà cung cấp LLM vừa xử lý gần đây và có thể dùng lại từ cache thay vì tính toán lại, thường là phần đầu lặp lại như system prompt hoặc tài liệu. Nhà cung cấp tính giá chúng thấp hơn token đầu vào mới.

[Token đầu vào và đầu ra (input and output tokens)](https://broadrouter.com/vi/glossary/input-and-output-tokens/)

Token đầu vào là token mà model ngôn ngữ đọc trong một request, gồm system prompt, lịch sử hội thoại, định nghĩa tool và hình ảnh. Token đầu ra là token nó sinh ra để trả lời, kể cả phần suy luận. API LLM thường tính giá riêng cho hai loại, và đầu ra thường đắt hơn.

[System prompt (lời nhắc hệ thống)](https://broadrouter.com/vi/glossary/system-prompt/)

System prompt là đoạn chỉ dẫn mà ứng dụng gửi cho model ngôn ngữ trước cuộc hội thoại, thường là tin nhắn có vai trò system hoặc developer. Nó đặt vai trò, quy tắc, giọng điệu và định dạng đầu ra, và model được kỳ vọng tuân theo nó hơn các tin nhắn người dùng mâu thuẫn.

[Context window (cửa sổ ngữ cảnh)](https://broadrouter.com/vi/glossary/context-window/)

Context window là số token tối đa mà model ngôn ngữ xử lý được trong một request. Nó bao gồm prompt, lịch sử hội thoại, định nghĩa tool, hình ảnh và đầu ra được sinh ra, kể cả token suy luận. Phần không vừa phải được cắt bớt, tóm tắt hoặc chia ra nhiều request.

[Tool calling (gọi tool, function calling)](https://broadrouter.com/vi/glossary/tool-calling/)

Tool calling, còn gọi là function calling, là tính năng của API LLM trong đó model trả về một yêu cầu có cấu trúc để chạy một hàm do nhà phát triển định nghĩa, kèm đối số JSON. Ứng dụng chạy hàm rồi gửi kết quả lại; model không bao giờ tự chạy code.

[Chat Completions API](https://broadrouter.com/vi/glossary/chat-completions-api/)

Chat Completions API là endpoint HTTP của OpenAI, POST /v1/chat/completions, nhận tên model và danh sách message có gắn vai trò rồi trả về message tiếp theo của model. Cấu trúc request và response của nó đã trở thành định dạng chung mà các nhà cung cấp và SDK tương thích OpenAI dùng lại.

[Hệ thống đa agent (multi-agent system)](https://broadrouter.com/vi/glossary/multi-agent-system/)

Hệ thống đa agent là ứng dụng LLM trong đó nhiều agent, mỗi agent có prompt, tool và context riêng, cùng xử lý các phần của một tác vụ. Thiết kế phổ biến là orchestrator-worker: agent chính lập kế hoạch, khởi chạy các worker song song và tổng hợp kết quả.

## Câu hỏi thường gặp

### Vì sao coding agent của tôi dùng nhiều token đầu vào đến vậy?

Vì API là stateless. Mỗi lần gọi gửi lại system prompt, mọi định nghĩa tool, toàn bộ hội thoại tới lúc đó và mọi nội dung file còn trong context. Một phiên dài nhân con số đó với số bước.

### Làm sao xem mỗi bước của agent dùng bao nhiêu token?

Đọc khối usage của mỗi response. Với streaming, đặt include\_usage trong stream\_options là true và đọc chunk cuối cùng. Ghi prompt\_tokens, prompt\_tokens\_details.cached\_tokens và completion\_tokens kèm số thứ tự bước.

### Định nghĩa tool có tính là token đầu vào không?

Có. Danh sách tool là một phần của prompt và được gửi ở mọi lần gọi. MCP server thêm tool của chúng vào danh sách đó, vì vậy tài liệu opencode khuyên chỉ thêm những server bạn cần.

### Prompt caching có giải quyết được vấn đề không?

Nó giảm giá của prefix lặp lại, không giảm kích thước. Đầu vào từ cache vẫn chiếm chỗ trong context window. Trên BroadNet, DeepSeek V4.1 Flash tính đầu vào từ cache $0.0055 mỗi 1M token, so với $0.175 cho đầu vào mới.

### Token suy luận có nằm trong ngân sách không?

Có, ở phía đầu ra. Model suy luận tính phần suy nghĩ vào max\_tokens và khi trả theo mức dùng thì tính phí như đầu ra. Đặt reasoning\_effort là low cho các bước thường ngày.

## Đọc tiếp

-   [OpenClaw và Hermes Agent với model giá rẻ: cài đặt và tính token](https://broadrouter.com/vi/blog/openclaw-hermes-agent-cheap-model/)
-   [Token đầu vào từ cache: cách giảm hóa đơn API LLM](https://broadrouter.com/vi/blog/cached-input-tokens-explained/)
-   [Chi phí thật của multi-agent: trả theo token hay phiên giá cố định](https://broadrouter.com/vi/blog/multi-agent-cost/)
-   [Model mở tốt nhất cho coding agent: chọn theo tool, context và chi phí](https://broadrouter.com/vi/blog/best-open-model-for-coding-agents/)
-   [API LLM giá cố định hay trả theo token: phép tính hòa vốn](https://broadrouter.com/vi/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [Giảm token prompt: số đo thực cho system prompt, tool và dữ liệu](https://broadrouter.com/vi/blog/reduce-prompt-tokens/)
-   [Chi phí một lần chạy AI coding agent: số bước, context và cache](https://broadrouter.com/vi/blog/ai-coding-agent-run-cost/)
-   [Claude Code với model mở: proxy, endpoint gốc và giới hạn](https://broadrouter.com/vi/blog/claude-code-with-openai-compatible-models/)
-   [Hướng dẫn: Streaming chat completions và xử lý khi mất kết nối](https://broadrouter.com/vi/guides/streaming-chat-completions/)
-   [Hướng dẫn: Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/)
-   [Hướng dẫn: Chạy Aider trên DeepSeek V4.1 Flash không giới hạn](https://broadrouter.com/vi/guides/aider-unlimited-deepseek/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-agent-token-budget&utm_content=page-cta) ·

**Nguồn**

-   [Cursor, cải thiện hiệu quả token (23 tháng 9 năm 2026; truy cập ngày 2026-11-14)](https://cursor.com/blog/improved-token-efficiency)
-   [Blog VS Code, cải thiện hiệu quả token trong GitHub Copilot (truy cập ngày 2026-11-14)](https://code.visualstudio.com/blogs/2026/06/17/improving-token-efficiency-in-github-copilot)
-   [OpenAI, hướng dẫn function calling, dưới 20 function (truy cập ngày 2026-11-14)](https://developers.openai.com/api/docs/guides/function-calling)
-   [Tài liệu opencode, MCP server và mức dùng context (truy cập ngày 2026-11-14)](https://opencode.ai/docs/mcp-servers/)
-   [Tài liệu Aider, repository map và lệnh trong chat (truy cập ngày 2026-11-14)](https://aider.chat/docs/repomap.html)
-   [Tài liệu tham chiếu API BroadNet Inference, usage và token từ cache (truy cập ngày 2026-11-14) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-agent-token-budget&utm_content=sources)
