Phần lớn những lần hóa đơn LLM gây bất ngờ đều có chung một nguyên nhân: có thứ gì đó cứ gọi API mà không ai để ý. Một vòng lặp retry, một agent không thể hoàn thành, một key bị lộ trên repository công khai. Cảnh báo ngân sách chỉ báo cho bạn sau khi sự việc đã xảy ra. Bài này xây dựng việc kiểm soát chi phí theo từng lớp, từ tài khoản xuống tới từng request, và chỉ ra phần nào BroadNet Inference đảm nhận, phần nào bạn phải thêm vào code.
Vì sao cảnh báo là chưa đủ?
Cảnh báo so sánh chi tiêu với một ngưỡng sau khi mức dùng đã được ghi nhận. Một vòng lặp agent có thể tạo hàng chục request mỗi phút. Khi email tới nơi thì tiền đã mất. Hãy dùng cảnh báo làm lớp chặn cuối, và đặt điểm dừng cứng ở chỗ request được tạo ra.
Các lớp kiểm soát chi phí LLM là gì?
| Lớp | Biện pháp | Ngăn chặn | Nơi thiết lập |
|---|---|---|---|
| Tài khoản | Số dư trả trước | Chi vượt số tiền bạn đã nạp | Tài khoản nhà cung cấp |
| Key | Mỗi ứng dụng hoặc agent một key | Một lần lộ key làm mất tất cả | Portal của nhà cung cấp |
| Key | Danh sách IP cho phép | Key bị đánh cắp được dùng ở nơi khác | Portal của nhà cung cấp |
| Request | max_tokens, reasoning_effort |
Một câu trả lời khổng lồ | Code của bạn |
| Tác vụ | Trần số bước, trần retry, phát hiện vòng lặp | Agent mất kiểm soát | Code của bạn |
| Tác vụ | Ngân sách tích lũy theo tác vụ và theo ngày | Rò rỉ chậm qua nhiều lời gọi | Code hoặc proxy của bạn |
| Báo cáo | Ghi log token và cảnh báo | Xu hướng tăng mà bạn không để ý | Log của bạn |
| Giá | Gói giá cố định hoặc key theo giờ | Chính bộ đếm token | Lựa chọn gói |
Cấp tài khoản: số dư trả trước giới hạn chi tiêu thế nào?
Key trả theo mức dùng của BroadNet Inference trừ vào số dư tài khoản trả trước; tài khoản mới bắt đầu với $5 tín dụng và không cần thẻ. Khi hết hạn mức trả theo mức dùng, request trả về 401, còn một giao dịch mua mà số dư không đủ (như key theo giờ) trả về 402 insufficient_balance. Hãy coi cả hai là tín hiệu dừng, không phải thứ để retry. Tài liệu lỗi của BroadNet cũng liệt kê giới hạn chi tiêu là một trong các nguyên nhân gây 429, nên hãy đọc nội dung lỗi trước khi retry bất kỳ 429 nào. Tất cả mã lỗi và cách xử lý 429 với backoff.
Số dư là trần ngoài cùng của bạn. Hãy nạp số tiền bạn sẵn sàng mất trong tháng này, không phải cho cả năm. Để xác định con số đó, trước tiên hãy đưa traffic dự kiến vào công cụ tính chi phí API LLM.
Cấp key: làm sao hạn chế thiệt hại khi key bị lộ?
Một API key là quyền chi tiêu: ai giữ nó đều có thể dùng số dư của bạn. Hãy giới hạn phạm vi ảnh hưởng của mỗi key:
- Mỗi ứng dụng, agent hoặc môi trường một key. BroadNet cho phép tối đa 10 key đang hoạt động mỗi tài khoản, mỗi key có hiệu lực tối đa một năm. Đặt tên cho chúng để log cho bạn biết key nào đã chi tiêu.
- Khóa key vào máy chủ của bạn. Thêm IP đầu ra (egress) hoặc dải CIDR vào danh sách IP cho phép, tối đa 32 mục. Request từ địa chỉ khác nhận 403.
- Thu hồi nhanh. Việc thu hồi và thay đổi danh sách IP cho phép áp dụng cho request mới trong vòng năm giây.
- Đừng để thông tin xác thực portal trên máy chủ. Chúng có thể tạo key và mua hàng. Key inference chỉ gọi được model.
Khóa API key bằng danh sách IP cho phép.
Cấp request: làm sao giới hạn mọi câu trả lời?
Hãy đặt max_tokens cho mọi lời gọi. Với model suy luận (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B), giữ ở mức 1.000 trở lên, vì phần suy nghĩ dùng chung ngân sách và giá trị quá thấp sẽ trả về câu trả lời rỗng mà bạn vẫn phải trả tiền. Hạ reasoning_effort cho các tác vụ đơn giản. Token suy luận được tính phí thế nào.
Cấp tác vụ: làm sao dừng một vòng lặp agent mất kiểm soát?
Vòng lặp mất kiểm soát có những dấu hiệu dễ nhận ra: cùng một tool call lặp lại, context lớn dần mỗi lượt, và lỗi được retry không giới hạn. Hãy đặt một lớp bảo vệ bao quanh client:
import json, os, urllib.request
from openai import OpenAI
# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)
class BudgetExceeded(Exception): pass
class Guard:
def __init__(self, budget_usd, max_steps=40):
self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []
def call(self, **kw):
self.steps += 1
if self.steps > self.max_steps: raise BudgetExceeded("step cap")
if self.spent >= self.budget: raise BudgetExceeded("budget")
r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
u = r.usage
cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
+ u.completion_tokens * PRICE["out"]) / 1e6
calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
self.last = (self.last + [calls])[-3:]
if calls and len(self.last) == 3 and all(c == calls for c in self.last):
raise BudgetExceeded("same tool call three times")
return r
Lớp bảo vệ đọc giá từ bảng giá thay vì viết cứng, nên nó vẫn đúng khi giá thay đổi. Hãy truyền vào call() đúng model mà bạn đã lấy giá. Giữ max_retries nhỏ: các OpenAI SDK vốn đã retry 429 và 5xx, và mỗi lần retry lại bị tính phí.
Với một đội ngũ, hãy chạy cùng bước kiểm tra trong một proxy dùng chung để mọi dịch vụ cùng trừ vào một ngân sách ngày. Retry cũng va vào giới hạn tốc độ: công cụ tính giới hạn tốc độ cho thấy key của bạn thực sự cho phép bao nhiêu lời gọi mỗi phút.
Báo cáo: nên ghi log và cảnh báo những gì?
Với mỗi request, hãy ghi log: bí danh key, tên tính năng hoặc agent, model, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, trạng thái và X-Request-ID. Khi streaming, hãy đặt stream_options: {"include_usage": true}, nếu không thông tin usage sẽ không bao giờ tới (hướng dẫn streaming).
Từ các log đó, hãy cảnh báo khi:
- chi phí hằng ngày theo key cao hơn con số dự kiến từ ước tính chi phí của bạn;
- token mỗi tác vụ cao hơn ba lần trung vị;
- tỷ lệ cache giảm, khiến chi phí tăng dù traffic không tăng;
- tỷ lệ phản hồi 429 hoặc 5xx tăng, nghĩa là đang có retry.
BroadNet giữ các bản ghi không chứa nội dung như thời gian, số token và chi phí, không giữ prompt, nên log của chính bạn là nơi chứa chi tiết theo từng tính năng. Đừng ghi log nội dung prompt nếu chính sách dữ liệu của bạn cấm điều đó. Cách xây dựng log mức dùng với chi phí theo người dùng và theo tính năng.
Cấp giá: khi nào giá cố định tốt hơn ngân sách?
Cách kiểm soát chi phí đáng tin cậy nhất là một mức giá không thay đổi:
- Phiên gói: $60 một tháng (Full Moon), $15 một tuần (Orbit) hoặc $1 một giờ (Meteor) cho DeepSeek V4.1 Flash không giới hạn, một request tại một thời điểm. Request trên key của gói không bao giờ trừ vào số dư của bạn.
- Key theo giờ: $0.50 cho một giờ Gemma 4 VL 26B trên một stream. Phù hợp cho các key rời khỏi máy chủ của bạn. Giải thích key theo giờ.
Một vòng lặp trên gói chỉ tốn thời gian, không tốn tiền. Bạn vẫn cần trần số bước, vì một agent bị kẹt sẽ chiếm phiên, chặn công việc khác. Gói có rẻ hơn hóa đơn đếm token hay không phụ thuộc vào khối lượng; công cụ tính giá cố định và theo token cho ra điểm hòa vốn với tỷ lệ token của bạn.
Giá theo token cũng có thể tăng lên bất ngờ. 52 lần tăng giá API LLM đã được lưu lại cho thấy điều đó xảy ra thường xuyên thế nào, ở những nhà cung cấp nào và tăng bao nhiêu.
Checklist ngắn
- Số dư trả trước tương ứng với hạn mức tháng của bạn.
- Mỗi ứng dụng một key có tên, kèm danh sách IP cho phép.
max_tokenstrên mọi request.- Trần số bước, trần retry và phát hiện lời gọi lặp lại trên mọi agent.
- Chi phí tích lũy theo tác vụ, kiểm tra trước mỗi lời gọi.
- Ghi log token theo từng request, có cảnh báo theo ngưỡng của bạn.
- Gói giá cố định hoặc key theo giờ ở mọi nơi dùng liên tục hoặc key bị lộ ra ngoài.
BroadNet Inference phù hợp ở đâu
BroadNet cung cấp lớp tài khoản và lớp key: số dư trả trước, các key riêng biệt, danh sách IP cho phép với việc thu hồi trong vài giây, cùng gói giá cố định và key theo giờ. Nó không cung cấp ngân sách cấp tác vụ như trong bài này; phần đó thuộc về code hoặc proxy của bạn. Nếu bạn cần ngân sách theo đội ngũ trên nhiều nhà cung cấp, một gateway đặt trước tất cả là công cụ phù hợp. Xem bảng giá.
