“API chậm quá” có thể mang ba nghĩa khác nhau, và mỗi nghĩa có cách xử lý khác nhau. Người dùng chat chờ chữ đầu tiên. Agent chờ toàn bộ lệnh gọi tool. Job batch quan tâm đến số token mỗi giờ. Bài này định nghĩa ba con số đó, chỉ cách đo chúng từ chính code của bạn, và gắn mỗi cách tối ưu với con số mà nó thực sự tác động.
TTFT, token mỗi giây và độ trễ end-to-end là gì?
Hướng dẫn benchmark của NVIDIA đưa ra định nghĩa rõ ràng, và chúng khớp với những gì bạn quan sát được từ phía client:
| Chỉ số | Đo gì | Ai cảm nhận | Phụ thuộc vào |
|---|---|---|---|
| Thời gian tới token đầu tiên (TTFT) | Gửi request → nhận token đầu tiên | Người dùng chat | Mạng, hàng đợi, độ dài prompt (prefill), cache hit |
| Độ trễ giữa các token (ITL) | Khoảng cách trung bình giữa các token | Người đọc câu trả lời được stream | Kích thước model, phần cứng, tải server |
| Token mỗi giây trên mỗi người dùng | Số token đầu ra sau token đầu tiên ÷ thời gian sinh (từ token đầu tiên tới token cuối); bằng 1 ÷ ITL trung bình | Người đọc, agent | Giống ITL |
| Độ trễ end-to-end | Gửi request → nhận token cuối cùng | Agent, API, batch | TTFT + thời gian sinh |
Công thức nối chúng lại với nhau:
end-to-end ≈ TTFT + (số token đầu ra − 1) × ITL ≈ TTFT + số token đầu ra ÷ token mỗi giây của mỗi người dùng
Tốc độ trên mỗi người dùng không giống thông lượng của server, tức tổng số token một server tạo ra cho mọi người dùng; nhà cung cấp có thể tăng cái này trong khi cái kia giảm.
Lấy tốc độ điển hình BroadNet công bố cho model của gói, khoảng 100 token mỗi giây. Thời gian sinh tăng theo độ dài câu trả lời: một file code 4.000 token mất khoảng tám mươi lần thời gian sinh so với một lần phân loại 50 token, trong khi cả hai đều chờ cùng một TTFT. Với câu trả lời ngắn, TTFT chiếm phần lớn thời gian chờ; với câu trả lời dài, tốc độ và độ dài chiếm phần lớn.
Vì sao model suy luận cần con số thứ tư?
Các model suy luận như DeepSeek V4.1 Flash suy nghĩ trước khi trả lời, và phần suy nghĩ cũng là token đầu ra. Nếu model dùng 800 token để suy luận ở tốc độ khoảng 100 token mỗi giây, người dùng phải chờ cả 800 token đó được sinh xong mới thấy chữ đầu tiên, dù TTFT trên đường truyền trông vẫn nhanh. Vì vậy hãy đo riêng thời gian tới token nội dung đầu tiên. Trên BroadNet Inference, reasoning_effort: "low" rút ngắn phần suy nghĩ cho các bước đơn giản; hướng dẫn về suy luận giải thích sự đánh đổi.
Đo độ trễ từ phía client thế nào?
Hãy đo ở nơi người dùng của bạn đang ở, với streaming được bật. Bộ đếm thời gian phía server bỏ sót mạng và mọi proxy ở giữa.
import os, time, statistics
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def timed(model, messages, max_tokens=1500):
t0 = time.perf_counter()
first = first_content = None
usage = None
stream = client.chat.completions.create(
model=model, messages=messages, max_tokens=max_tokens,
stream=True, stream_options={"include_usage": True},
)
for chunk in stream:
now = time.perf_counter()
if chunk.choices:
if first is None:
first = now
if chunk.choices[0].delta.content and first_content is None:
first_content = now
if chunk.usage:
usage = chunk.usage
end = time.perf_counter()
out = usage.completion_tokens if usage else 0
return {
"ttft": first - t0,
"ttfct": (first_content or end) - t0,
"e2e": end - t0,
"tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
"prompt_tokens": usage.prompt_tokens if usage else None,
}
runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
xs = sorted(r[k] for r in runs)
print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
Năm quy tắc cho một benchmark công bằng:
- Cố định độ dài prompt và báo cáo nó. TTFT ở 500 token prompt và ở 200.000 token là hai con số khác nhau. Công cụ đếm token cho bạn biết prompt thử dài bao nhiêu trước khi gửi.
- Cố định độ dài đầu ra bằng
max_tokensvà một prompt đủ để lấp đầy nó, để token mỗi giây so sánh được. - Báo cáo p50 và p95, không phải giá trị trung bình. Độ trễ phần đuôi là thứ người dùng nhớ.
- Rải các lần chạy theo thời gian. Tải thay đổi trong ngày.
- Khởi động trước. Lệnh gọi đầu tiên phải trả cho DNS, TLS và thiết lập kết nối; hãy dùng lại một client.
Điều gì thực sự cải thiện từng con số?
| Muốn cải thiện | Làm gì | Vì sao |
|---|---|---|
| TTFT | Rút ngắn hoặc cache tiền tố prompt | Thời gian prefill tăng theo độ dài prompt; tiền tố được cache bỏ qua được phần việc |
| TTFT | Giữ kết nối sẵn sàng, dùng khu vực gần | Bỏ được thời gian thiết lập và các vòng khứ hồi |
| Thời gian tới token nội dung đầu tiên | Hạ mức suy luận, hoặc dùng model không suy luận cho bước đơn giản | Ít suy nghĩ ẩn hơn trước câu trả lời |
| Token mỗi giây | Dùng model nhỏ hơn hoặc nhanh hơn cho bước đó | Tốc độ decode phụ thuộc kích thước model và cách phục vụ |
| End-to-end | Yêu cầu đầu ra ngắn hơn (schema, giới hạn số từ) | Độ dài đầu ra nhân với ITL |
| End-to-end cho nhiều lệnh gọi | Chạy song song các lệnh gọi độc lập trong giới hạn đồng thời | Thời gian thực tế giảm dù từng lệnh gọi vẫn như cũ |
| Độ trễ cảm nhận | Stream tới người dùng | Họ đọc trong khi model đang viết |
Độ dài đầu ra là đòn bẩy bị đánh giá thấp nhất. Yêu cầu “JSON với bốn trường này” thay vì “giải thích câu trả lời của bạn” có thể cắt thời gian sinh đi một bậc độ lớn mà không cần động đến hạ tầng. Đầu ra có cấu trúc giúp ích ở đây.
Đòn bẩy cache được trình bày trong cấu trúc prompt để tận dụng cache. Đòn bẩy song song nhanh chóng đụng giới hạn tốc độ; xem xử lý lỗi 429.
Độ dài prompt thay đổi sự đánh đổi thế nào?
TTFT tăng theo prompt vì model phải xử lý mọi token đầu vào trước khi có thể viết. Đó là chi phí ẩn của prompt rất dài và là một phần của quyết định context dài hay RAG: một prompt 1M token trả lời được những câu hỏi RAG không trả lời được, nhưng bắt đầu chậm hơn. Nếu tốc độ tương tác quan trọng, hãy giữ đường đi chính thật ngắn và chỉ gửi context lớn khi câu hỏi cần đến.
BroadNet Inference phù hợp ở đâu?
BroadNet công bố tốc độ điển hình khoảng 100 token mỗi giây cho model của gói và stream theo định dạng SSE chuẩn, nên đoạn code trên chạy được mà không cần sửa. BroadNet không công bố số liệu TTFT hay SLA về độ trễ, vì vậy hãy đo trên prompt của chính bạn trước khi cam kết; một giờ Meteor giá $1 là đủ cho benchmark 50 lần chạy, và tín dụng khởi đầu đủ cho một lần như vậy trên Gemma 4 VL 26B. Nếu bạn cần độ trễ dưới một giây được đảm bảo ở quy mô lớn, hãy thử nghiệm kỹ: một key trả theo mức dùng cho phép 4 request đang chạy, phù hợp với ứng dụng và agent hơn là phục vụ thời gian thực khối lượng lớn. Các model và giá có trên trang model và bảng giá.
