当 API 说“慢一点”时,立即重试只会让情况更糟。指数退避每次都多等一会儿。
工作原理
失败后先等待一个基础延迟,之后每失败一次就把延迟翻倍,直到达到最大值。基础延迟 1 秒、上限 32 秒时,等待时间依次为 1、2、4、8、16、32、32 秒。达到固定的尝试次数后就停止,把错误抛出去。
光有退避还不够。如果 100 个客户端在同一时刻失败,它们也会在同样的时刻一起重试。Marc Brooker 在 AWS 的文章中比较了 “Full Jitter”(完全抖动:在零到当前上限之间随机等待)、“Equal Jitter”(等量抖动)和 “Decorrelated Jitter”(去相关抖动)。Equal Jitter 表现最弱,而 Full Jitter “uses less work, but slightly more time.”(译文:工作量更少,但耗时略多。)他的结论是:带抖动的退避 “should be considered a standard approach for remote clients.”(译文:应被视为远程客户端的标准做法。)
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
为什么重要
- 429 也算数。 OpenAI 的速率限制指南提醒:“unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.”(译文:失败的请求也会计入每分钟限额,所以不停地重发请求是没用的。)一个劲地冲击速率限制,只会让你一直被挡在门外。
- 重试会成倍放大。 AWS Builders’ Library 指出重试是 “selfish”(译文:自私的),建议只在调用栈的单一位置重试;每一层都重试,负载可能被放大很多倍。
- 副作用。 重试一个会扣费的调用,只有在使用幂等键时才安全。
- 预防胜于重试。 把进行中的请求数控制在并发上限以下,让 429 从一开始就很少出现。
在 BroadNet Inference 上
BroadNet 的错误表要求用 “response details and bounded backoff”(译文:响应详情和有上限的退避)来应对 429,并对 500、502、503 和 504 “with bounded exponential backoff”(译文:以有上限的指数退避)重试。按量付费密钥允许每分钟 30 个请求、同时进行 4 个。对于 400、401、403、413 和 422,先修正原因。请保留 X-Request-ID 响应头以便联系支持。错误与重试指南介绍了 SDK 重试次数的设置,如何处理大模型 API 的 429 提供了限流器和队列代码。速率限制计算器能算出一个限额下能容纳多少流量。