Khi một API bảo “chậm lại”, thử lại ngay lập tức chỉ làm mọi thứ tệ hơn. Exponential backoff chờ lâu hơn sau mỗi lần.
Cách hoạt động
Sau một lần thất bại, chờ một độ trễ cơ bản, rồi nhân đôi nó sau mỗi lần thất bại mới, tới một mức tối đa. Với độ trễ cơ bản 1 giây và trần 32 giây, các lần chờ là 1, 2, 4, 8, 16, 32, 32 giây. Dừng lại sau một số lần thử cố định và báo lỗi ra ngoài.
Chỉ backoff thôi chưa đủ. Nếu 100 client thất bại cùng một lúc, chúng cũng sẽ thử lại cùng những thời điểm. Bài viết trên AWS của Marc Brooker so sánh “Full Jitter” (chờ ngẫu nhiên từ 0 tới mức trần hiện tại), “Equal Jitter” và “Decorrelated Jitter”. Equal Jitter yếu nhất, còn Full Jitter “uses less work, but slightly more time.” (Bản dịch: tốn ít công việc hơn, nhưng mất thời gian hơn một chút). Kết luận của ông: backoff kèm jitter “should be considered a standard approach for remote clients.” (Bản dịch: nên được coi là cách làm chuẩn cho các client từ xa).
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
Vì sao quan trọng
- Lỗi 429 cũng bị tính. Hướng dẫn giới hạn tốc độ của OpenAI cảnh báo “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (Bản dịch: các request thất bại vẫn được tính vào giới hạn mỗi phút, nên liên tục gửi lại một request sẽ không có tác dụng). Dội liên tục vào một giới hạn tốc độ chỉ khiến bạn bị chặn lâu hơn.
- Thử lại nhân lên. AWS Builders’ Library lưu ý rằng thử lại là “selfish” (Bản dịch: ích kỷ) và khuyên chỉ thử lại ở một điểm duy nhất trong stack; thử lại ở mọi tầng có thể nhân tải lên nhiều lần.
- Tác dụng phụ. Thử lại một lệnh gọi có tính tiền chỉ an toàn khi có idempotency key.
- Phòng hơn thử lại. Giới hạn số request đang xử lý dưới mức concurrency cho phép để ngay từ đầu lỗi 429 đã hiếm.
Trên BroadNet Inference
Bảng lỗi của BroadNet dặn xử lý 429 bằng “response details and bounded backoff” (Bản dịch: chi tiết response và backoff có giới hạn) và thử lại 500, 502, 503 và 504 “with bounded exponential backoff.” (Bản dịch: với exponential backoff có giới hạn). Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý cùng lúc. Với 400, 401, 403, 413 và 422, hãy sửa nguyên nhân trước. Giữ header X-Request-ID để gửi bộ phận hỗ trợ. Hướng dẫn lỗi và thử lại đặt số lần thử lại của SDK, và cách xử lý lỗi 429 của API LLM có code cho bộ giới hạn và hàng đợi. Công cụ tính giới hạn tốc độ cho thấy bao nhiêu lưu lượng vừa trong một giới hạn.