“Chúng tôi cần một endpoint chuyên dụng” là khởi đầu của một cuộc trao đổi, không phải một bản đặc tả. Nhà cung cấp không thể định quy mô, chọn vị trí hay định giá năng lực khi không có các con số của bạn, và bạn cũng không thể đánh giá câu trả lời của họ nếu thiếu chúng. Bài này liệt kê những gì cần xác định trước khi hỏi, qua một ví dụ tính toán về trích xuất hóa đơn, và kết thúc bằng một script kiểm tra endpoint bạn được cấp.
Bài áp dụng cho mọi nhà cung cấp. Ở những chỗ mô tả dịch vụ của BroadNet, bài chỉ dựa trên những gì BroadNet nói công khai, kiểm tra ngày 15 tháng 11 năm 2026. Mọi thứ vượt ngoài đó là câu hỏi dành cho BroadNet.
Khi nào endpoint riêng là hợp lý?
Thường vì một trong bốn lý do:
- Traffic vượt giới hạn tự phục vụ. Tài liệu API của BroadNet công bố 30 request mỗi phút và 4 request đang xử lý cho một key trả theo mức dùng. Một khối lượng ổn định vượt mức đó là câu hỏi về năng lực, không phải về thử lại. (Xử lý lỗi 429 nói về các đợt tăng ngắn.)
- Model không có trong danh sách công khai. Danh mục của BroadNet đánh dấu một số model là “available on request” (có sẵn theo yêu cầu), gồm Qwen3-VL 30B-A3B, Qwen3-VL 8B và một bản fine-tune Cohere Transcribe Arabic của BroadNet. Cách đọc danh mục model giải thích sự khác biệt.
- Địa điểm xử lý bạn phải kiểm soát. Quy định lưu trú dữ liệu, như trong checklist PDPL của Ả Rập Xê Út và UAE, có thể đòi hỏi một khu vực đã thỏa thuận bằng văn bản.
- Độ trễ dự đoán được. Năng lực dùng chung dao động theo tải của người dùng khác. Năng lực dành riêng loại bỏ biến số đó, dù không loại bỏ khoảng cách mạng hay kích thước prompt của chính bạn.
Nếu không lý do nào áp dụng, một key tự phục vụ đơn giản hơn. Còn nếu khối lượng của bạn rất lớn và ổn định, hãy so sánh với việc tự vận hành: chi phí tự host so với API có phương pháp.
Cần xác định gì về khối lượng công việc?
Hãy viết một bản tóm tắt một trang. Đây là những con số nhà cung cấp cần:
| Mục | Cần ghi gì | Ví dụ |
|---|---|---|
| Nhiệm vụ | Model làm gì, trong một câu | Đọc ảnh hóa đơn, trả về các trường JSON |
| Khối lượng | Số request mỗi ngày, và tỷ trọng trong giờ bận nhất | 40.000 mỗi ngày, 15% trong giờ cao điểm |
| Token | Token vào và ra trung bình và ở bách phân vị thứ 95 | 1.800 vào (một ảnh trang + prompt), 350 ra |
| Context | Request đơn lớn nhất, prompt cộng câu trả lời | 4.000 token |
| Độ trễ | Thời gian tới token đầu tiên và tới câu trả lời đầy đủ chấp nhận được | Câu trả lời đầy đủ trong 10 giây |
| Streaming | Có cần hay không | Không cần (kiểu batch) |
| Đầu vào | Văn bản, hình ảnh, âm thanh; định dạng và kích thước | JPEG và PNG, mỗi tệp một trang |
| Ngôn ngữ | Những ngôn ngữ nào, và tỷ trọng mỗi ngôn ngữ | Tiếng Ả Rập và tiếng Anh, 60/40 |
| Tăng trưởng | Khối lượng dự kiến sau 6 và 12 tháng | Gấp đôi sau 12 tháng |
Hãy đo số token trên mẫu thật, đừng đoán. Tiếng Ả Rập thường cần nhiều token hơn tiếng Anh cho cùng một văn bản; bộ đếm token tiếng Ả Rập và chi phí thực theo ngôn ngữ cho thấy chênh lệch bao nhiêu trên các tokenizer khác nhau. Với hình ảnh, máy tính token hình ảnh cho ước tính ban đầu.
Quy đổi khối lượng thành token mỗi giây và mức đồng thời như thế nào?
Số request mỗi giây lúc cao điểm là khối lượng của giờ bận nhất chia cho 3.600. Mức đồng thời, tức số request đang xử lý cùng lúc, suy ra từ định luật Little: số lượng trung bình trong một hệ thống bằng tốc độ đến nhân với thời gian trung bình mỗi phần tử ở trong đó. Với một API, đó là số request mỗi giây × số giây mỗi request.
import math
def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
"""Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
seconds_per_request = out_tokens / out_tok_per_s_per_stream # ignores queueing and prompt time
concurrency = peak_rps * seconds_per_request # Little's law: L = λ × W
return {
"peak_requests_per_second": round(peak_rps, 2),
"seconds_per_request": round(seconds_per_request, 1),
"concurrent_requests_at_peak": math.ceil(concurrency),
"peak_input_tokens_per_second": round(peak_rps * in_tokens),
"peak_output_tokens_per_second": round(peak_rps * out_tokens),
"monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
}
# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))
Kết quả in ra: 1,67 request mỗi giây lúc cao điểm, khoảng 5,8 giây mỗi request, 10 request đồng thời, 3.000 token vào và 583 token ra mỗi giây, và 2.580 triệu token mỗi tháng. Con số 60 token mỗi giây là giả định cho ví dụ; hãy tự đo trên model bạn sẽ dùng, vì tốc độ thay đổi theo model, độ dài prompt và tải. Bài độ trễ, TTFT và thông lượng giải thích cần đo những gì.
Hai lưu ý. Công thức bỏ qua thời gian xử lý prompt, nên prompt dài hay ảnh lớn làm request thật chậm hơn và đẩy mức đồng thời lên. Và số trung bình che giấu các đợt tăng đột biến: hãy đưa cho nhà cung cấp kích thước request ở bách phân vị thứ 95 và hồ sơ một đợt tăng ngắn, không chỉ giá trị trung bình. Mức cao điểm trong ví dụ này (khoảng 100 request mỗi phút và 10 request đang xử lý) vượt xa giới hạn tự phục vụ công bố cho một key trả theo mức dùng, và đó chính là lúc đáng để trao đổi về năng lực.
Còn khu vực, lưu trú dữ liệu và giới hạn thì sao?
Hãy thỏa thuận rõ ràng, bằng văn bản, trước khi bất kỳ dữ liệu chịu quản lý nào được chuyển đi. Điều khoản của BroadNet (§7.3a) ghi: “Contact us to agree processing locations for your deployment before sending data with residency requirements,” (bản dịch: Hãy liên hệ chúng tôi để thống nhất địa điểm xử lý cho triển khai của bạn trước khi gửi dữ liệu có yêu cầu lưu trú) và rằng việc xử lý do đối tác host và xử lý dự phòng có liên quan tới các bên xử lý khác, với danh sách bên xử lý phụ hiện hành cung cấp cho khách hàng khi được yêu cầu. Tuyên bố quyền riêng tư nói các model của BroadNet và model open-weight do BroadNet host chạy trên phần cứng BroadNet sở hữu hoặc thuê tại Hoa Kỳ, với năng lực của đối tác làm dự phòng, và trang tổng quan nói việc xử lý theo khu vực ở MENA hoặc châu Âu có sẵn theo yêu cầu.
Vì vậy, các câu hỏi cho bất kỳ nhà cung cấp nào là:
- Khu vực nào xử lý request, và khu vực nào giữ năng lực dự phòng?
- Những bên xử lý phụ nào có thể chạm vào traffic, kể cả khi chuyển đổi dự phòng hoặc tràn tải?
- Giới hạn tốc độ, mức đồng thời và token của endpoint là gì, và điều gì xảy ra khi vượt?
- Điều khoản về độ sẵn sàng và hỗ trợ nào áp dụng, và chúng được ghi ở đâu? Điều khoản của BroadNet (§7.4) nói gói tự phục vụ không có cam kết về độ sẵn sàng, và endpoint riêng cùng năng lực dành riêng tuân theo thỏa thuận bằng văn bản riêng của bạn. Để xem SLA bằng văn bản của các nhà cung cấp khác bao gồm những gì, hãy đọc so sánh SLA API LLM.
- Những gì được lưu giữ? Với API inference của BroadNet, lập trường công bố là: nội dung inference không được lưu giữ; siêu dữ liệu cần thiết về tài khoản, thanh toán và bảo mật được lưu giữ như mô tả trong tuyên bố quyền riêng tư. Hãy xác nhận điều tương tự áp dụng cho endpoint của bạn.
Model nào, theo giấy phép nào?
Nêu chính xác model và phiên bản, và kiểm tra giấy phép cho phép mục đích sử dụng của bạn cũng như việc phục vụ qua API. Trang model của BroadNet ghi Apache-2.0 cho Gemma 4 26B, Qwen3-VL 30B-A3B và trọng số gốc Cohere Transcribe, còn bản fine-tune Cohere Transcribe Arabic của BroadNet thì “under contract” (theo hợp đồng). Điều khoản nói các model chịu sự điều chỉnh của giấy phép riêng, và giấy phép của DeepSeek V4.1 Flash vẫn áp dụng khi do đối tác host.
Hãy thỏa thuận cả cửa sổ context. Giới hạn context phụ thuộc vào model và cách triển khai, không chỉ vào mức tối đa của model gốc: BroadNet ghi 32K token cho Gemma 4 VL 26B trên API công khai và 16K cho Qwen3-VL 30B-A3B, model có sẵn theo yêu cầu. Dùng máy tính cửa sổ context với request lớn nhất của bạn, không phải request trung bình.
Đặt ngân sách như thế nào?
BroadNet không công bố giá endpoint riêng; trang tổng quan ghi “Reserved GPU, priced to your traffic. Ask for a quote.” (bản dịch: GPU dành riêng, định giá theo traffic của bạn. Hãy yêu cầu báo giá.) Vì vậy hãy tự đặt mức trần trước. Tính giá cùng khối lượng công việc đó theo kiểu tự phục vụ bằng máy tính chi phí API LLM, dùng số token hằng tháng từ script ước tính quy mô, rồi quyết định năng lực dự đoán được, một khu vực hay một model không công khai đáng giá thêm bao nhiêu với bạn. Báo giá thấp hơn mức tự phục vụ là điểm cộng; báo giá cao hơn nhiều cần có lý do từ danh sách yêu cầu của bạn.
Gửi yêu cầu liên hệ như thế nào?
Tài liệu API của BroadNet ghi: “Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.” (bản dịch: Endpoint riêng, các bản fine-tune tiếng Ả Rập của chúng tôi và các model theo yêu cầu khác được truy cập bằng ID riêng cấp kèm endpoint.) Trang tổng quan đề nghị cung cấp “your model, languages and traffic requirements” (bản dịch: model, ngôn ngữ và yêu cầu traffic của bạn). Gửi bản tóm tắt một trang qua trang liên hệ, không kèm API key hay dữ liệu khách hàng. Bao gồm kết quả ước tính quy mô, khu vực, model và giấy phép, mục tiêu độ trễ, mức trần ngân sách và mốc thời gian.
Kiểm tra endpoint được cấp như thế nào?
Trước khi có traffic production, hãy kiểm tra endpoint theo những gì đã thỏa thuận. Script này chỉ dùng thư viện chuẩn của Python. Nó kiểm tra model ID riêng hoạt động, streaming kết thúc bằng dấu data: [DONE] như tài liệu BroadNet mô tả, mức đồng thời đã thỏa thuận chạy không có lỗi 429, và model ID sai bị từ chối.
import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor
BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/") # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"] # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))
def post(payload: dict, stream=False):
req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
t0 = time.monotonic()
try:
with urllib.request.urlopen(req, timeout=120) as r:
body = r.read().decode()
return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
except urllib.error.HTTPError as e:
return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0
def main() -> int:
msg = [{"role": "user", "content": "Reply with the word OK."}]
results = {}
code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
ok = code == 200 and "usage" in json.loads(body)
results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
"stream_options": {"include_usage": True}})
results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
range(AGREED_CONCURRENCY)))
results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
for name, (passed, note) in results.items():
print(f"{'PASS' if passed else 'FAIL'} {name}: {note}")
return 0 if all(p for p, _ in results.values()) else 1
if __name__ == "__main__":
sys.exit(main())
Chúng tôi chạy nó với một mock server cục bộ (không phải endpoint thật) cho phép 8 request đang xử lý. Với AGREED_CONCURRENCY=8, cả bốn kiểm tra đều đạt. Với 12, kiểm tra đồng thời thất bại với tám mã 200 và bốn mã 429, đó là kết quả bạn muốn thấy trước khi ra mắt chứ không phải sau. max_tokens=1000 chừa chỗ cho model suy luận, vốn dùng một phần ngân sách trước khi trả lời.
Sau smoke test, hãy chạy một bài load test ngắn ở mức cao điểm đã đo với prompt kích thước thật, và ghi lại thời gian tới token đầu tiên cùng độ trễ trả lời đầy đủ của endpoint. Giữ lại các request ID; tài liệu BroadNet yêu cầu X-Request-ID, timestamp, route và trạng thái trong các yêu cầu hỗ trợ.
BroadNet Inference phù hợp ở đâu?
BroadRouter là trang web của chính BroadNet. BroadNet Inference bán quyền truy cập tự phục vụ vào các model công khai theo token, theo phút âm thanh, theo gói phiên và theo key tính giờ; giá có trên trang giá. Endpoint riêng, xử lý theo khu vực, bản fine-tune và các model ghi “on request” (theo yêu cầu) không phải tự phục vụ: đó là các yêu cầu liên hệ mà BroadNet báo giá và thỏa thuận bằng văn bản. Bài này không thể cho bạn biết BroadNet sẽ đề xuất gì cho khối lượng công việc của bạn. Một bản tóm tắt rõ ràng là cách để tìm ra điều đó.
