API dùng chung nào cũng tự bảo vệ bằng các giới hạn. Biết giới hạn nào đang áp dụng cho bạn biết mình có thể chạy nhanh đến đâu và phải làm gì khi chạm giới hạn.
Cách hoạt động
API LLM đo nhiều thứ cùng lúc. Ví dụ, OpenAI liệt kê:
- RPM: request mỗi phút
- RPD: request mỗi ngày
- TPM: token mỗi phút
- TPD: token mỗi ngày
Giới hạn nào chạm trước thì áp dụng giới hạn đó. Nhiều nhà cung cấp còn giới hạn số request đồng thời, tức số request đang được xử lý.
Khi vượt giới hạn, server trả về 429 Too Many Requests. MDN mô tả lỗi này là client đã “sent too many requests in a given amount of time.” (Bản dịch: gửi quá nhiều request trong một khoảng thời gian nhất định). Header Retry-After có thể cho biết cần chờ bao nhiêu giây.
Một vòng lặp thử lại an toàn:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
Các OpenAI SDK chính thức vốn đã thử lại lỗi 429 và 5xx với backoff; hãy đặt max_retries thay vì tự viết vòng lặp.
Vì sao quan trọng
- Thông lượng. Mức trần thực tế của bạn là giới hạn thấp nhất trong tất cả. Với một key giới hạn 30 request mỗi phút, như key trả theo mức dùng của BroadNet, 1.000 request mất ít nhất 1.000 ÷ 30 phút, dù model nhanh đến đâu. Công cụ tính rate limit tính giúp bạn với các giới hạn của riêng bạn.
- Độ tin cậy. Lỗi 429 không được xử lý trông giống như sự cố ngừng dịch vụ. Backoff biến chúng thành những lần chậm trễ ngắn.
- Chi phí. Một số nhà cung cấp cũng trả về 429 khi chạm giới hạn chi tiêu, điều thường gặp với key trả theo mức dùng. Hãy đọc nội dung lỗi trước khi thử lại.
Trên BroadNet Inference
| Loại key | Giới hạn |
|---|---|
| Trả theo mức dùng | 30 request mỗi phút, 4 request đồng thời |
| Key theo giờ | 120 request mỗi phút, một luồng, 300,000 token mỗi phút |
| Gói không giới hạn | Một request tại một thời điểm cho mỗi phiên, không có đồng hồ đo token |
BroadNet trả về 429 khi chạm giới hạn tần suất, giới hạn đồng thời, giới hạn token mỗi phút hoặc giới hạn chi tiêu. Hãy tạm dừng rồi thử lại. Hướng dẫn lỗi và thử lại đề cập mọi mã trạng thái, và bài “không giới hạn” thực sự nghĩa là gì giải thích những giới hạn mà gói giá cố định vẫn có.
Lỗi thường gặp
- Thử lại lỗi 401 hoặc 403. Đó là vấn đề về key hoặc chính sách, không phải giới hạn tần suất.
- Chạy nhiều worker trên một key mà không có bộ giới hạn dùng chung. Mỗi worker tự backoff riêng trong khi các worker khác vẫn giữ key ở mức bão hòa.