Tìm “giới hạn tốc độ API LLM” và bạn sẽ gặp những bảng trên blog mâu thuẫn nhau, thường vì chúng chép lại số liệu cũ. Bài này đọc mọi con số từ tài liệu chính thức của từng nhà cung cấp vào ngày 15 tháng 11 năm 2026, ghi rõ con số áp dụng cho hạng và model nào, và để trống ô khi nhà cung cấp không công bố. Nếu muốn cùng dữ liệu này dưới dạng dataset tải về được, kèm credit miễn phí và điều khoản sử dụng dữ liệu, hãy xem gói miễn phí và giới hạn tốc độ API LLM. BroadRouter là trang web của chính BroadNet, và giới hạn của BroadNet cũng có trong bảng.
RPM, TPM, RPD và đồng thời nghĩa là gì?
Một giới hạn tốc độ đặt trần cho lượng bạn gửi được trong một khoảng thời gian. Mỗi nhà cung cấp đếm một thứ khác nhau:
| Giới hạn | Đếm cái gì | Gây khó nhất khi |
|---|---|---|
| RPM, request mỗi phút | Số request bắt đầu trong một phút | Bạn gửi nhiều lệnh gọi ngắn (phân loại, vòng lặp kiểu embeddings) |
| RPS, request mỗi giây | Như trên, tính theo một giây | Bạn gửi dồn dập, dù trung bình theo phút vẫn thấp |
| TPM, token mỗi phút | Số token được xử lý trong một phút, đôi khi tách đầu vào (ITPM) và đầu ra (OTPM) | Bạn gửi prompt dài hoặc tài liệu dài |
| RPD / TPD, mỗi ngày | Số request hoặc token trong một ngày | Bạn chạy job batch trên gói miễn phí |
| Đồng thời | Số request đang chạy cùng một lúc | Request chậm: suy luận, đầu ra dài, agent |
Giới hạn nào “cắn” bạn tùy vào hình dạng request. Với giới hạn đồng thời, thông lượng phụ thuộc vào độ dài request: chính tài liệu của DeepInfra đưa ví dụ 200 request đồng thời với thời gian trung bình 1 giây tương đương khoảng 12.000 RPM. Một request suy luận 30 giây ở cùng mức đồng thời chỉ cho một phần nhỏ con số đó.
Phần lớn nhà cung cấp còn áp giới hạn trên những khoảng thời gian ngắn hơn mức họ công bố. Anthropic cho biết giới hạn 60 RPM “might be enforced as 1 request per second” (bản dịch: có thể được áp dụng thành 1 request mỗi giây), còn xAI tính giới hạn mỗi giây từ ngân sách mỗi phút (“RPM / 48, with a minimum of 2”, bản dịch: RPM / 48, tối thiểu là 2).
Hạng sử dụng hoạt động thế nào?
Các nhà cung cấp model đóng lớn nâng giới hạn khi bạn chi tiêu nhiều hơn:
| Nhà cung cấp | Các hạng (kiểm tra ngày 2026-11-15) | Cách lên hạng |
|---|---|---|
| OpenAI | Free, Build, Launch, Grow | Free: người dùng phải ở khu vực được phép; hạn mức sử dụng hằng tháng USD 100 (mức trần chi tiêu, không phải credit). Sau đó tổng tiền mua credit USD 5, USD 100 và USD 500, với hạn mức sử dụng hằng tháng USD 500, USD 5.000 và USD 200.000 |
| Anthropic | Evaluation, Start, Build, Scale, Custom | Tự động, theo lịch sử sử dụng và tình trạng tài khoản. Trần chi tiêu hằng tháng: Start USD 500, Build USD 1.000, Scale USD 200.000 |
| Google Gemini API | Free, Tier 1, Tier 2, Tier 3 | Tier 1 cần liên kết tài khoản thanh toán; Tier 2 cần đã trả USD 100 cộng 3 ngày; Tier 3 USD 1.000 cộng 30 ngày. Google nói giới hạn tốc độ đã nêu “not guaranteed” (bản dịch: không được đảm bảo) và “no guarantees” (bản dịch: không đảm bảo) cho yêu cầu nâng giới hạn |
| Fireworks AI | Tier 1 đến Tier 4 | Thêm phương thức thanh toán cho Tier 1, sau đó USD 50, USD 500 và USD 5.000 chi tiêu hoặc credit. Lên hạng tăng TPM, không tăng RPM |
| xAI | Tier 0 đến Tier 4, Enterprise | Chi tiêu cộng dồn từ ngày 1 tháng 1 năm 2026: USD 0, 50, 250, 1.000 và 5.000 |
Hai chi tiết quan trọng trong thực tế. Trần chi tiêu của Anthropic trả về HTTP 429 không kèm header retry-after khi bạn chạm mức, nên retry tự động sẽ tiếp tục thất bại cho đến khi sang tháng mới hoặc bạn lên hạng. Và giới hạn đầu vào của Anthropic chỉ tính đầu vào không lấy từ cache: lượt đọc cache không bị tính, nên tỷ lệ cache cao giúp tăng thông lượng thực tế.
Giới hạn tốc độ API LLM theo nhà cung cấp: hạng đầu tiên
Số liệu cho gói miễn phí hoặc hạng trả phí đầu tiên của từng nhà cung cấp, lấy từ trang rate limit của chính họ. Dấu gạch ngang nghĩa là trang đó không công bố con số cho giới hạn này; nó không có nghĩa là không giới hạn.
| Nhà cung cấp | Hạng và model | RPM | TPM | Mỗi ngày | Đồng thời |
|---|---|---|---|---|---|
| OpenAI | Build; Astra, Sol, Terra | 5.000 | 1.000.000 | – | – |
| OpenAI | Build; Luna | 5.000 | 2.000.000 | – | – |
| Anthropic | Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 | 4.000 | 2.000.000 đầu vào (không từ cache), 400.000 đầu ra | – | – |
| Google Gemini API | Free; Gemini Decision 1 (model duy nhất có số liệu miễn phí trên trang) | 200 | 50.000 | 10.000 request | – |
| Google Gemini API | Tier 1; Gemini Decision 1 | 1.500 | 1.000.000 | 50.000 request | – |
| Groq | Bảng gói Free; openai/gpt-oss-120b, qwen/qwen3.8-27b | 30 | 8.000 | 1.000 request, 200.000 token | – |
| Groq | Bảng gói Developer; openai/gpt-oss-120b, qwen/qwen3.8-27b | 1.000 | 250.000 | 500.000 request | – |
| Cerebras | Free Trial; gpt-oss-120b | 5 | 30.000 không từ cache (90.000 tổng) | 1.000.000 token | – |
| Cerebras | Developer (trả theo mức dùng); gpt-oss-120b | 1.000 | 500.000 không từ cache (1.500.000 tổng) | Không giới hạn | – |
| Fireworks AI | Không có phương thức thanh toán hay credit; toàn tài khoản | 10 | – | – | – |
| Fireworks AI | Có phương thức thanh toán và credit; toàn tài khoản | 6.000 | Theo hạng chi tiêu | – | – |
| DeepInfra | Mặc định; mỗi model công khai | – | – | – | 200 |
| DeepSeek | Mặc định; deepseek-flash (DeepSeek-V4.1-Flash-1017), mỗi tài khoản |
– | – | – | 2.500 |
| DeepSeek | Mặc định; deepseek-v4-pro (DeepSeek-V4-Pro-0813), mỗi tài khoản |
– | – | – | 500 |
| xAI | Tier 0; grok-4.7 (150 RPS) | – | 50.000.000 | – | – |
| OpenRouter | Model :free, đã mua dưới USD 10 credit | 20 | – | 50 request | – |
| OpenRouter | Model :free, đã mua từ USD 10 credit trở lên | 20 | – | 1.000 request | – |
| Cohere | Trial key; Command A | 20 | – | 1.000 lệnh gọi mỗi tháng | – |
| Cohere | Production key; Command A | 500 | – | – | – |
| BroadNet Inference | Key trả theo mức dùng; mọi model | 30 | – | – | 4 |
| BroadNet Inference | Key theo giờ; Gemma 4 VL 26B | 120 | 300,000 | – | 1 stream |
| BroadNet Inference | Phiên gói giá cố định; DeepSeek V4.1 Flash | – | Không đếm token | – | 1 request tại một thời điểm |
Ghi chú về các dòng:
- Groq. Trang có hai tab, “Free Plan Limits” (mở sẵn mặc định) và “Developer Plan Limits”. Câu phía trên gọi các số liệu là “the base limits for the Developer plan” (bản dịch: giới hạn cơ bản của gói Developer), điều chỉ đúng với tab thứ hai; bảng ở trên ghi cả hai. Giới hạn chính xác của tổ chức bạn nằm trên trang giới hạn của họ.
- Google. Giới hạn áp dụng theo dự án, không theo API key. Số liệu của phần lớn model chỉ hiện trong AI Studio. Gemini Decision 1 là model phân loại dành cho Decisions API của Google: nó trả về xác suất chứ không phải văn bản, nên giới hạn của nó không nói được nhiều về các model chat Gemini.
- Mistral và Together AI không công bố con số. Mistral hiển thị giới hạn của bạn trong console thay vì công bố bảng, và không cung cấp truy cập API miễn phí (“It doesn’t include API access”, bản dịch: không bao gồm truy cập API). Together nói họ “may limit requests” (bản dịch: có thể giới hạn request) khi nhu cầu cao và có thể đặt giới hạn riêng cho các model phổ biến.
- OpenRouter. Các biến thể model trả phí có “no platform-level request cap” (bản dịch: không có trần request ở cấp nền tảng), nhưng các nhà cung cấp phía sau mỗi model vẫn có giới hạn riêng.
- DeepSeek. Khi bận, DeepSeek giữ kết nối mở bằng các dòng trống hoặc comment
: keep-alive, và đóng kết nối nếu inference chưa bắt đầu trong 10 phút. Hãy đặt timeout phía client với điều này trong đầu.
Nói thẳng, giới hạn của BroadNet so ra sao?
Chúng thấp cho công việc khối lượng lớn. Một key trả theo mức dùng của BroadNet cho phép 30 request mỗi phút và 4 request đang chạy, trong khi hạng trả phí đầu tiên của OpenAI và Anthropic cho phép hàng nghìn request mỗi phút và Fireworks cho phép 6.000 khi đã lưu thẻ. Nếu bạn cần đẩy hàng nghìn request ngắn mỗi phút qua một key, hạng trả phí của một nhà cung cấp lớn sẽ phù hợp hơn.
Các giới hạn này hợp với những dạng công việc khác:
- Agent và chat. Một agent gửi một request mỗi lần rồi chờ. 4 request đang chạy đủ cho vài agent trên một key; mỗi ứng dụng hoặc mỗi thành viên dùng một key sẽ chia đều tải.
- Gói giá cố định. Một phiên Full Moon, Orbit hoặc Meteor không đếm token và không có trần theo ngày hay tuần, nhưng chạy một request tại một thời điểm với tốc độ điển hình khoảng 100 token mỗi giây. Muốn chạy agent song song, hãy mua một phiên cho mỗi agent. Bạn cần bao nhiêu phiên.
- Key theo giờ. $0.50 mỗi giờ mua một stream Gemma 4 VL 26B với 120 request và 300,000 token mỗi phút.
Mọi giới hạn của BroadNet đều trả về HTTP 429. Tài liệu tham chiếu API không nêu thời gian retry-after, nên hãy dùng backoff có giới hạn kèm jitter.
Lên kế hoạch quanh giới hạn tốc độ thế nào?
- Tìm giới hạn ràng buộc bạn. Tính request mỗi phút, token mỗi phút và số request đang chạy cho lưu lượng cao điểm. Công cụ tính giới hạn tốc độ LLM làm việc này từ kích thước request và độ trễ.
- Điều tiết ở phía client. Một token bucket khớp với giới hạn công bố sẽ tránh được phần lớn lỗi 429. Anthropic cũng dùng chính thuật toán này ở phía server.
- Đọc header. Anthropic trả về header
anthropic-ratelimit-*; Groq trả về headerx-ratelimit-*, trong đó header về request “always refers to Requests Per Day” (bản dịch: luôn chỉ số request mỗi ngày). Hãy dùngretry-afterkhi có. - Retry với backoff và jitter, và giới hạn số lần retry. Xử lý lỗi 429 có code chạy được, và lỗi và retry đề cập các mã trạng thái của BroadNet.
- Cache các tiền tố ổn định. Trên Anthropic, đầu vào từ cache không bị tính vào giới hạn đầu vào. Ở mọi nơi, nó đều giảm chi phí.
- Dàn trải job khối lượng lớn. Anthropic còn áp giới hạn tăng tốc (ramp limit): lưu lượng tăng đột ngột có thể nhận 429 dù chưa chạm giới hạn. Hãy khởi động job batch từ từ. Không có Batch API, một trình chạy batch có thể tiếp tục giữ job trong giới hạn.
- Xin thêm. DeepSeek, DeepInfra, Mistral và Anthropic đều mô tả cách yêu cầu giới hạn cao hơn.
BroadNet Inference phù hợp ở đâu?
BroadRouter là trang web của chính BroadNet, vì vậy hãy cân nhắc phần này cho phù hợp. BroadNet Inference không phải lựa chọn cho tốc độ request rất cao trên một key: giới hạn mỗi key được công bố thấp hơn nhiều so với hạng trả phí của OpenAI, Anthropic, Fireworks hay Cerebras. Nó phù hợp với workload agent và chat gửi vài request mỗi lần, nhất là trên gói giá cố định, nơi một agent bận rộn không bị đếm token và không có trần theo ngày. Tài khoản mới nhận $5 tín dụng ban đầu cho Gemma 4 VL 26B, hai model chép lời và key theo giờ của Gemma; DeepSeek, GLM và Qwen cần nạp tiền. Gói tự phục vụ không có SLA. Đọc giới hạn API hoặc so sánh các gói.
