BroadRouter

10 cách giảm chi phí LLM cho coding agent, kèm mức tiết kiệm ước tính

Đội ngũ BroadNet Inference · 6 phút đọc · Đăng ngày

Phần lớn chi phí là đầu vào gửi lại mỗi lượt. Hãy giữ prefix ổn định để được cache, chỉ rõ file, cắt bớt output của tool, giảm mức suy luận, giới hạn vòng lặp và retry, chuyển bước dễ sang model rẻ hơn. Trên DeepSeek V4.1 Flash, đầu vào từ cache chỉ tốn khoảng 3% giá đầu vào mới. Vượt khoảng 917 triệu token đầu vào mỗi tháng, gói cố định $60 rẻ hơn.

Hóa đơn của coding agent tăng theo cách mà hóa đơn chat không có. Mỗi lượt đều gửi lại system prompt, danh sách tool, các file agent đã đọc và toàn bộ hội thoại tới lúc đó. Đến lượt thứ 30, một request có thể mang hàng trăm nghìn token đầu vào, phần lớn là lặp lại. Mười cách dưới đây nhắm vào nơi số token đó đi tới. Mỗi cách có mức tiết kiệm ước tính kèm phép tính, dùng giá BroadNet Inference đồng bộ ngày 2026-11-14. Số liệu của bạn sẽ khác, nên hãy đo trước và sau.

Tiền của coding agent đi đâu?

Có ba “đồng hồ đo”, xếp theo độ lớn với phần lớn agent:

  1. Đầu vào, gửi lại mỗi lượt. Phần lớn có thể cache.
  2. Đầu ra, gồm cả token suy luận mà bạn không bao giờ thấy.
  3. Lãng phí: retry, vòng lặp không tiến triển và context không ai cần.

Trước khi thay đổi gì, hãy xem prompt_tokens, prompt_tokens_details.cached_tokens và completion_tokens của một ngày làm việc thật. Bài token của vòng lặp agent đi đâu chỉ cách tách chúng ra.

Cách nào tiết kiệm nhiều nhất?

# Cách Cắt giảm gì Mức tiết kiệm ước tính
1 Giữ prefix của prompt ổn định Đầu vào mới Hóa đơn đầu vào giảm một nửa trở lên
2 Chỉ rõ file thay vì để agent tự tìm Các lượt khám phá Ít lượt hơn, ít gửi lại hơn
3 Cắt bớt output của tool Đầu vào ở mọi lượt sau Tỷ lệ với kích thước log
4 Giảm mức suy luận ở bước thường ngày Đầu ra ẩn Tùy cơ cấu tác vụ
5 Giới hạn số bước mỗi tác vụ Vòng lặp mất kiểm soát Đặt trần cho trường hợp xấu nhất
6 Giới hạn và ghi log retry Request trùng lặp Mỗi lần retry tránh được là một request trọn vẹn
7 Mở phiên mới cho mỗi tác vụ Lịch sử cũ Context mỗi lượt ngắn hơn
8 Chuyển bước dễ sang model rẻ hơn Giá mỗi token Lớn ở các bước được chuyển
9 Tóm tắt hiếm khi, nối thêm thường xuyên Cache miss Giữ cách 1 hoạt động
10 Chuyển sang gói cố định khi qua điểm hòa vốn Đồng hồ đếm token $5.40 mỗi tháng trong ví dụ của chúng tôi

1. Giữ prefix của prompt ổn định để được cache

Trên DeepSeek V4.1 Flash, đầu vào từ cache có giá $0.0055 mỗi 1M token; đầu vào mới có giá $0.175, đắt hơn khoảng 32 lần. Hãy sắp prompt theo thứ tự system prompt, tool, file, lịch sử, tin nhắn mới. Đừng bao giờ đặt timestamp ở đầu. Tháng 9 năm 2026, Cursor cho biết các thay đổi ở harness, gồm system prompt ngắn đi khoảng hai phần ba và chỉ nạp tool khi cần, đã giảm 7% chi phí token của người dùng. Xem cách cấu trúc prompt để prefix được cache.

Mức tiết kiệm ước tính. Giả sử 1.000M token đầu vào mỗi tháng. Ở 50% cache hit, bạn trả giá đầu vào mới cho 500M; ở 80%, chỉ cho 200M. Tính cả phần từ cache, hóa đơn đầu vào giảm khoảng 56%. Xem cách nâng tỷ lệ cache, hoặc thử số liệu của bạn trong công cụ tính prompt caching.

2. Nói cho agent biết file nào quan trọng

Một tác vụ mơ hồ (“sửa lỗi đăng nhập”) khiến agent đi tìm: liệt kê thư mục, mở file, đọc chúng vào context. Mỗi file nó mở sau đó bị gửi lại ở mọi lượt sau. Hãy nêu tên file và thay đổi mong muốn. Giữ một bản đồ dự án ngắn trong repository để agent đọc trước tiên.

Mức tiết kiệm ước tính. Nếu một file 40.000 token được đọc ở lượt 3 của tác vụ 30 lượt, nó bị gửi lại khoảng 27 lần: hơn một triệu token đầu vào chỉ cho một file. Không đọc nó là tiết kiệm toàn bộ số đó.

3. Cắt bớt output của tool trước khi nó vào context

Test runner, build log và git diff có thể trả về hàng chục nghìn token. Chỉ cho agent xem 100 dòng cuối của log hoặc chỉ các test thất bại. Phần lớn công cụ agent cho phép đặt giới hạn output cho lệnh.

Mức tiết kiệm ước tính. Cùng phép tính với cách 2: mỗi token bạn cắt được tiết kiệm một lần cho mỗi lượt còn lại.

4. Giảm mức suy luận ở các bước thường ngày

DeepSeek V4.1 Flash và GLM 5.3 suy nghĩ trước khi trả lời, và phần suy nghĩ được tính như đầu ra. Đặt reasoning_effort: "low" cho việc đổi tên, định dạng và sửa nhỏ. Giữ max_tokens đủ cao để hoàn thành, nếu không bạn trả tiền cho phần suy nghĩ mà nhận về câu trả lời rỗng. Xem chi phí token suy luận.

Mức tiết kiệm ước tính. Đo completion_tokens_details.reasoning_tokens trước và sau trên cùng 20 tác vụ. Mức tiết kiệm là phần giảm nhân với giá đầu ra ($0.52 mỗi 1M).

5. Giới hạn số bước mỗi tác vụ

Một agent không sửa được test có thể lặp 100 lượt, lượt sau lớn hơn lượt trước. Hãy đặt số lượt tối đa cho mỗi tác vụ, và dừng khi cùng một tool call lặp lại ba lần. Giới hạn số bước biến một khoản chi không có trần thành một khoản chi có trần.

6. Giới hạn và ghi log retry

Một request retry là một lần inference mới, bị tính tiền lại trên key trả theo token. Retry lỗi 429 và 5xx với backoff và giới hạn cố định; đừng retry các lỗi 4xx khác như 400 hay 422. Xem lỗi và retry.

7. Mở phiên mới cho mỗi tác vụ

Lịch sử của tác vụ trước là gánh nặng vô ích cho tác vụ sau. Mỗi tác vụ một phiên mới giúp context nhỏ gọn. Điều này không mâu thuẫn với cache: system prompt và tool vẫn tạo thành một prefix chung, cache được.

8. Chuyển bước dễ sang model rẻ hơn

Không phải bước nào cũng cần cùng một model. Commit message, dòng changelog và phân loại đơn giản có thể giao cho Gemma 4 VL 26B với giá $0.10 đầu vào và $0.22 đầu ra mỗi 1M. Nếu bạn dùng GLM 5.3 cho các bước nặng về tool, hãy chuyển phần còn lại sang DeepSeek V4.1 Flash: đầu ra của GLM 5.3 đắt hơn khoảng 6,7 lần. Xem GLM 5.3 và DeepSeek V4.1 Flash.

Lưu ý. Hãy đo chi phí trên mỗi tác vụ hoàn thành. Một model rẻ hơn mà cần gấp đôi số lượt có thể tốn hơn.

9. Tóm tắt hiếm khi, phần còn lại thì nối thêm

Khi agent nén lịch sử, nó viết lại prompt và cache bắt đầu lại từ đầu. Chỉ tóm tắt khi context gần chạm giới hạn, làm một lần thật lớn, rồi tiếp tục nối thêm. Như vậy cách 1 vẫn phát huy tác dụng.

10. Chuyển sang gói cố định khi đã qua điểm hòa vốn

Tính phí theo token có lợi cho mức dùng nhỏ. Một agent chạy toàn thời gian thì không nhỏ. Trong ví dụ tính toán của BroadNet, một coding agent toàn thời gian (1.000M đầu vào với 80% cache, 50M đầu ra) tốn $65.40 mỗi tháng nếu trả theo token; một agent chạy liên tục tốn $196.20. Một phiên Full Moon có giá $60 mỗi tháng, không đếm token, chạy một request tại một thời điểm. Từ lúc đó, cách 1 đến 9 vẫn tiết kiệm thời gian nhưng không còn tiết kiệm tiền. Kiểm tra khối lượng của bạn bằng công cụ so sánh giá cố định và trả theo token, hoặc đọc phép tính hòa vốn và chạy agent song song với giá cố định.

Làm sao đo một cách có hiệu quả hay không?

  1. Chọn 20 tác vụ tiêu biểu từ backlog.
  2. Chạy chúng với thiết lập hiện tại và ghi số token mỗi tác vụ.
  3. Áp dụng từng cách một và chạy lại.
  4. So sánh chi phí trên mỗi tác vụ hoàn thành, không phải chi phí mỗi request.

Với ứng dụng không phải coding agent, các đòn bẩy tương tự theo thứ tự tổng quát nằm trong bài cách giảm chi phí API LLM.

Hướng dẫn thiết lập cho các agent phổ biến: Aider, Cline, Zoo Code, bản fork của Roo Code nay đã ngừng hoạt động và OpenCode.

BroadNet Inference phù hợp ở đâu

BroadNet mang đến cho coding agent mức giá đầu vào từ cache thấp trên DeepSeek V4.1 Flash và, với mức dùng nặng, phiên không giới hạn từ $60 mỗi tháng, trên một endpoint tương thích OpenAI mà các agent này vốn đã hỗ trợ. BroadNet không chạy các model frontier đóng, nên nếu agent của bạn cần một model như vậy cho các bước khó nhất, hãy giữ model đó ở nhà cung cấp của nó và gửi phần lớn các lượt về đây. Xem các gói.

Câu hỏi thường gặp

Vì sao chạy coding agent lại tốn kém như vậy?

Agent gửi lại system prompt, định nghĩa tool, nội dung file và lịch sử hội thoại ở mỗi lượt, nên token đầu vào tăng theo từng bước. Suy luận còn cộng thêm đầu ra mà bạn không nhìn thấy.

Cách lớn nhất để giảm chi phí coding agent là gì?

Giữ phần đầu của prompt giống hệt nhau giữa các lượt để nó được tính là đầu vào từ cache. Trên DeepSeek V4.1 Flash, đầu vào từ cache có giá $0.0055 mỗi 1M token, so với $0.175 cho đầu vào mới.

Model rẻ hơn có luôn rẻ hơn cho coding agent không?

Không. Một model yếu hơn phải đi nhiều bước hơn, hoặc thất bại rồi retry, có thể tốn tổng cộng nhiều hơn. Hãy đo chi phí trên mỗi tác vụ hoàn thành, không phải trên mỗi token.

Khi nào gói giá cố định rẻ hơn cho coding agent?

Với DeepSeek V4.1 Flash, ở khoảng 917 triệu token đầu vào và 46 triệu token đầu ra mỗi tháng với 80% cache hit. Một agent chạy toàn thời gian thường vượt ngưỡng đó.

Làm sao để coding agent không lặp vòng và đốt token?

Giới hạn số lượt cho mỗi tác vụ, dừng khi cùng một tool call lặp lại ba lần, và giới hạn số lần retry với lỗi 429 và 5xx. Giới hạn số bước biến một khoản chi không có trần thành một khoản chi có trần.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity