API가 “속도를 줄이라”고 할 때 즉시 재시도하면 상황이 더 나빠집니다. 지수 백오프는 매번 더 오래 기다립니다.
작동 방식
실패하면 기본 지연 시간만큼 기다리고, 실패가 이어질 때마다 그 시간을 두 배로 늘리되 최댓값을 넘기지 않습니다. 기본값 1초, 상한 32초라면 대기 시간은 1, 2, 4, 8, 16, 32, 32초가 됩니다. 정해진 횟수만큼 시도한 뒤에는 멈추고 오류를 드러내세요.
백오프만으로는 충분하지 않습니다. 클라이언트 100개가 같은 순간에 실패하면 재시도도 모두 같은 순간에 합니다. Marc Brooker의 AWS 글은 “Full Jitter”(0과 현재 상한 사이의 무작위 대기), “Equal Jitter”, “Decorrelated Jitter”를 비교합니다. Equal Jitter가 가장 약했고, Full Jitter는 “uses less work, but slightly more time.”(번역: 작업량은 더 적지만 시간은 조금 더 든다) 그의 결론은 지터를 더한 백오프가 “should be considered a standard approach for remote clients.”(번역: 원격 클라이언트의 표준 방식으로 여겨져야 한다)라는 것입니다.
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
왜 중요한가
- 429도 횟수에 들어갑니다. OpenAI 속도 제한 가이드는 “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.”(번역: 실패한 요청도 분당 한도에 포함되므로, 요청을 계속 다시 보내는 것은 효과가 없다)라고 경고합니다. 속도 제한을 계속 두드리면 계속 막힌 상태로 남습니다.
- 재시도는 배로 불어납니다. AWS Builders’ Library는 재시도가 “selfish”(번역: 이기적)이라고 지적하며 스택의 한 지점에서만 재시도하라고 권합니다. 모든 계층에서 재시도하면 부하가 몇 배로 불어날 수 있습니다.
- 부작용. 돈이 청구되는 호출은 멱등성 키가 있을 때만 안전하게 재시도할 수 있습니다.
- 재시도보다 예방. 진행 중인 요청 수를 동시 처리 한도 아래로 제한해서 애초에 429가 드물게 하세요.
BroadNet Inference에서는
BroadNet의 오류 표는 429에 “response details and bounded backoff”(번역: 응답 세부 정보와 상한이 있는 백오프)로 대응하고, 500, 502, 503, 504는 “with bounded exponential backoff.”(번역: 상한이 있는 지수 백오프로) 재시도하라고 안내합니다. 종량제 키는 분당 요청 30 건, 동시 처리 4 건을 허용합니다. 400, 401, 403, 413, 422는 원인부터 고치세요. 지원 요청을 위해 X-Request-ID 헤더를 보관하세요. 오류와 재시도 가이드는 SDK 재시도 횟수를 설정하고, LLM API 429 처리법에는 제한 장치와 대기열 코드가 있습니다. 속도 제한 계산기로 한도 안에 얼마만큼의 트래픽이 들어가는지 확인할 수 있습니다.