“고가용성”은 희망 사항입니다. SLA는 계약서에 적힌 숫자이고, 그 숫자를 지키지 못했을 때의 구제 수단이 정해져 있습니다.
작동 방식
SLA는 네 가지를 정의합니다. 무엇이 대상인지, 다운타임을 어떻게 측정하는지, 목표를 못 지켰을 때 무엇을 받는지, 어떻게 청구하는지입니다. Gemini Enterprise Agent Platform에서 제공하는 Gemini 온라인 추론 API에 대한 Google의 SLA가 좋은 실제 예시입니다.
- 목표.
generateContent와streamGenerateContent메서드에 대해 월간 가동률(Monthly Uptime Percentage) 99.5%(가용 기간이 짧게 지정된 모델은 95%). - 다운타임. “more than a five percent Error Rate”(번역: 오류율 5% 초과). 여기서 오류는 유효한 요청에 대한 HTTP 5XX 응답이며, “five or more consecutive minutes”(번역: 5분 이상 연속된) 구간만 집계합니다.
- 크레딧.
| 월간 가동률 | 해당 서비스 월 청구액에 대한 크레딧 |
|---|---|
| 99.0% 이상 99.5% 미만 | 10% |
| 95.0% 이상 99.0% 미만 | 25% |
| 95.0% 미만 | 50% |
- 청구. 고객은 “must notify Google technical support within 30 days”(번역: 30일 이내에 Google 기술 지원팀에 알려야 합니다)이며, 다운타임 구간을 보여 주는 로그 파일을 제출해야 합니다. 크레딧 상한은 그달 해당 서비스 청구액의 50%입니다.
- 제외 사항. GA 이전 기능, Grounding with Google Search, 고객 자체 소프트웨어에서 생긴 오류, 서버 기본값보다 짧은 기한(deadline), 할당량 오류는 대상이 아닙니다.
같은 SLA는 Provisioned Throughput을 쓰는 일부 모델에 대해 초당 출력 토큰으로 측정하는 지연 시간 목표도 추가합니다. Azure, Amazon Bedrock, OpenAI, Anthropic 등을 나란히 비교한 내용은 LLM API SLA 비교에서 확인하세요.
왜 중요한가
- 가동률은 처리량이 아닙니다. 5XX 오류만 세는 SLA는 지연 시간 목표가 없는 한 속도 제한(429)이나 느린 응답에 대해 아무것도 말해 주지 않습니다.
- 크레딧은 작습니다. 10% 크레딧이 제품 장애로 생긴 비용에 맞먹는 경우는 드뭅니다. 어차피 실패를 전제로 설계하세요. 백오프를 둔 재시도, 타임아웃, 폴백 모델이나 다른 제공업체를 준비하세요. 오류와 재시도 가이드를 참고하세요.
- 제외 사항을 읽으세요. Google의 SLA는 GA 이전 기능과 특정 서비스를 제외합니다. 어떤 SLA든 비슷한 예외가 있는지 확인하세요.
- 로그는 직접 남기세요. 청구에는 증거가 필요합니다. 요청 ID, 타임스탬프, 상태 코드를 기록하세요.
BroadNet Inference에서는
BroadNet의 셀프서비스 API는 종량제든 플랜이든 SLA가 없습니다. 서비스 약관(§7.4)은 “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.”(번역: API를 계속 이용할 수 있도록 노력하고 측정한 내용을 공개하지만, 셀프서비스에는 가용성 약속이 없습니다)라고 말합니다. 또 “Service levels exist only in a separate written agreement”(번역: 서비스 수준은 별도의 서면 계약에만 존재합니다)이며, 전용 엔드포인트와 예약 용량은 그 계약을 따른다고 덧붙입니다. 계약으로 보장된 가동률이 필요하다면 BroadNet에 전용 엔드포인트를 문의하세요. 무엇을 준비해야 하는지는 전용 엔드포인트 계획 글에서 다룹니다. 셀프서비스라면 폴백을 계획하세요. 제공업체 선택 체크리스트에 적었듯, 저희는 BroadNet 문서에서 SLA, 상태 페이지, 지원 중단 정책을 찾지 못했습니다.