“LLM API SLA”를 검색하면 서로 맞지 않는 표들이 나옵니다. 이 글에서는 그런 표 대신 원문을 읽었습니다. 2026년 11월 15일에 확인한 각 제공업체의 SLA 또는 약관 페이지입니다. 제공업체마다 가동률 목표, 다운타임으로 인정되는 것, 서비스 크레딧, 지연 시간 목표, 적용 등급을 정리했습니다. BroadRouter는 BroadNet의 웹사이트이므로 BroadNet도 목록에 넣었으며, BroadNet은 셀프서비스에 SLA가 없는 제공업체 중 하나입니다.
LLM API SLA는 실제로 무엇을 약속하나요?
SLA는 보상이 따르는 서면 목표입니다. API를 계속 살아 있게 만드는 것이 아니라, 살아 있지 않을 때 청구서에 무슨 일이 일어나는지를 정합니다. 아래의 모든 SLA는 같은 네 부분으로 이루어집니다.
- 목표. 대개 리전, 프로젝트 또는 리소스별 월 가동률입니다.
- 다운타임의 정의. 거의 항상 서버 오류만입니다. 유효한 요청에 대한 500 또는 5XX 응답입니다. 429 속도 제한은 다운타임이 아닙니다. 느린 답변이나 틀린 답변도 마찬가지입니다.
- 보상. 해당 서비스의 그달 청구액 중 일정 비율을 향후 청구액에 크레딧으로 반영하며, 상한이 있습니다.
- 청구 절차. 기한 안에 직접 수집한 로그와 함께 크레딧을 요청해야 합니다.
43,200분인 30일 기준으로 퍼센트를 분으로 바꾸면 다음과 같습니다.
| 월 가동률 | 허용되는 다운타임 |
|---|---|
| 99.9% | 약 43분 |
| 99.5% | 216분 |
| 99.0% | 432분 |
| 95.0% | 36시간 |
SLA를 공개한 LLM API는 어디인가요?
모든 행은 2026년 11월 15일에 각 제공업체의 페이지에서 확인했습니다. “찾지 못함”은 확인한 페이지에 SLA가 명시되어 있지 않다는 뜻이며, 비공개 계약의 가능성까지 배제하지는 않습니다.
| 제공업체와 서비스 | 가동률 목표 | 다운타임으로 인정되는 것 | 크레딧 | 지연 시간 SLA | 적용 대상 |
|---|---|---|---|---|---|
| Microsoft Azure, Foundry Models(Azure OpenAI 모델 포함) | 99.9% | 오류 코드를 반환한 요청, 분 단위 평균 | 99.9% 미만 10%, 99% 미만 25% | 예, Provisioned Managed 배포와 Priority Processing | Foundry Models sold by Azure, Developer 등급 제외 |
| Amazon Bedrock | 99.9%(그 미만부터 크레딧) | 500 오류 코드를 반환한 요청, 5분 단위, 리전별 | 10%, 99.0% 미만 25%, 95.0% 미만 100% | SLA에 없음 | 각 AWS 리전의 Bedrock |
| Google, Gemini 온라인 추론 API | 99.5%(제공 기간이 짧은 모델은 95%) | 5분 이상 연속으로 5XX 오류율 5% 초과 | 10%, 99.0% 미만 25%, 95.0% 미만 50% | 예, 글로벌 엔드포인트의 Provisioned Throughput | generateContent와 streamGenerateContent |
| OpenAI, Scale Tier | 99.9% | 공개 페이지에 정의 없음 | 공개 페이지에 명시 없음 | 시간의 99% 동안 모델별 초당 토큰 수 하한 이상 | Enterprise 고객, 최소 30일 단위로 구매한 토큰 유닛 |
| OpenAI, 일반 종량제 | 찾지 못함 | – | – | – | – |
| Anthropic API | 찾지 못함. 약관에 “as is”, “as available”로 명시 | – | – | – | – |
| Fireworks AI, Reserved Throughput | 99.9% 가동률 조건 | 가격 페이지에 명시 없음 | 명시 없음 | 처리량 SLA | 예약 용량만, 초과 사용분 제외 |
| Together AI | 서버리스: 명시 없음. “Provisioned Throughput: Token-based capacity with SLAs”(번역: 토큰 기반 용량과 SLA, 조건은 페이지에 공개되지 않음) | – | – | – | SLA 조건은 영업팀에 문의 |
| BroadNet Inference, 셀프서비스 | 없음: “no availability commitment” | – | – | – | 서비스 수준은 별도 서면 계약에서만 |
하이퍼스케일러의 SLA는 어떻게 다른가요?
Microsoft Azure. Microsoft Learn 페이지에 따르면 Foundry Models sold by Azure는 “include all Azure OpenAI models”(번역: 모든 Azure OpenAI 모델을 포함)하며 “covered by Azure service-level agreements”(번역: Azure 서비스 수준 계약의 적용을 받음)입니다. 통합 SLA(2026년 10월판)는 분당 오류율(Error Rate)을 정의하고, 가동률을 100%에서 평균 오류율을 뺀 값으로 정의합니다. 크레딧은 99.9% 미만이면 10%, 99% 미만이면 25%입니다. 크레딧은 Foundry Models sold by Azure에만 적용되며, “The Developer tier of the Foundry Models service is not covered by this SLA.”(번역: Foundry Models 서비스의 Developer 등급은 이 SLA의 적용을 받지 않습니다.) Provisioned Managed 배포와 Priority Processing에는 두 번째 SLA가 있어, 제품 문서에 나온 모델별 목표 대비 초당 토큰 수를 측정하고 달성률이 99% 미만이면 10% 크레딧을 줍니다.
Amazon Bedrock. AWS는 가동률 표를 충족하기 위해 “commercially reasonable efforts”(번역: 상업적으로 합리적인 노력)를 다하겠다고 약정합니다. 가용성은 “the percentage of Requests processed by Amazon Bedrock that do not fail with Errors”(번역: Amazon Bedrock이 처리한 요청 중 오류로 실패하지 않은 요청의 비율)이고, 오류는 “any Request that returns a 500 error code”(번역: 500 오류 코드를 반환하는 모든 요청)입니다. 리전별로 계산하며, 요청이 없는 구간은 완전히 가용한 것으로 칩니다. 제외 사항에는 “scaling of provisioned throughput”(번역: 프로비저닝된 처리량의 조정) 같은 고객 조치와, “repeated model crashes or an inoperable model”(번역: 반복적인 모델 충돌 또는 작동 불능 모델)을 일으키는 모델 소프트웨어가 포함됩니다. 이 SLA에는 지연 시간 목표가 없습니다.
Google Cloud. Gemini 온라인 추론 SLA는 다운타임 인정 기준이 가장 엄격합니다. 다운타임이 되려면 5XX 응답 오류율이 5%를 넘는 상태가 “five or more consecutive minutes”(번역: 5분 이상 연속) 이어져야 합니다. 크레딧은 해당 서비스 월 청구액의 50%가 상한이고, 30일 안에 로그 파일과 함께 지원팀에 알려야 하며, SLA가 “sole and exclusive remedy”(번역: 유일하고 배타적인 구제 수단)입니다. Google 검색 그라운딩, 할당량 오류, 서버 기본값보다 짧은 기한은 제외됩니다. Provisioned Throughput에서는 글로벌 엔드포인트의 일부 Gemini 2.5 모델에 지연 시간 SLA가 적용되며, 5분 구간별 p50 초당 토큰 수로 측정합니다. 대신 Vertex AI에 자체 오픈 모델을 배포한다면, 별도의 Vertex AI Platform SLA가 사용자 지정 모델 온라인 예측을 99.5%로 보장하지만, “for models deployed on 2 or more nodes”(번역: 2개 이상의 노드에 배포된 모델에 한해)입니다.
OpenAI와 Anthropic을 직접 쓰면 어떤가요?
OpenAI. Scale Tier 페이지에는 “Scale Tier traffic offers a 99.9% uptime SLA and prioritized compute.”(번역: Scale Tier 트래픽은 99.9% 가동률 SLA와 우선 컴퓨팅을 제공합니다.)라고 되어 있습니다. 표에서는 이를 “99% > 50 tokens per second”(번역: 99%의 시간 동안 초당 50토큰 초과) 같은 모델별 지연 시간 SLA와 함께 제시하며, 5분 단위 p50 요청 지연 시간으로 계산합니다. 페이지에는 “This offering is available to Enterprise customers”(번역: 이 상품은 Enterprise 고객에게 제공됩니다)라는 문구와 함께, 각 토큰 유닛을 “for a minimum of 30 days”(번역: 최소 30일 동안) 구매하며, Scale Tier는 GPT-5.6 이전에 출시된 모델을 대상으로 하고 이후 모델은 Reserved Tier가 담당한다고 되어 있습니다. 일반 종량제 사용에 붙은 가동률 SLA는 찾지 못했습니다. (openai.com이 저희 수집기를 차단해서 Internet Archive의 2026년 11월 7일 캡처본으로 페이지를 읽었습니다.)
Anthropic. 공개된 상용 약관(2025년 6월 17일 시행)에는 SLA나 서비스 크레딧이 없습니다. L.2항은 서비스를 “AS IS”(현 상태대로), “AS AVAILABLE”(이용 가능한 범위에서) 제공하며, 사용이 “WILL BE UNINTERRUPTED”(번역: 중단되지 않을 것)임을 보증하지 않는다고 밝힙니다. 기업 계약은 다를 수 있지만 공개되어 있지 않습니다.
SLA로 얻을 수 없는 것은 무엇인가요?
- 가동 시간 그 자체. 크레딧은 장애가 끝난 뒤에 지급됩니다. 사용자는 이미 장애를 겪었습니다.
- 용량. 스로틀링(429)은 위의 어떤 가동률 정의에도 들어가지 않습니다. Google은 “quotas applied by the system”(번역: 시스템이 적용한 할당량)을 명시적으로 제외합니다. 429 오류 처리 방법을 참고하세요.
- 속도. 초당 토큰 수 목표가 있는 것은 프로비저닝 또는 예약 등급뿐입니다. 일반 트래픽에서는 느린 답변도 성공한 답변입니다. 지연 시간 지표 설명을 참고하세요.
- 품질. 틀린 답을 담은 200 응답은 어디에서도 다운타임이 아닙니다.
- 많은 돈. 크레딧은 한 서비스의 월 청구액 중 일부이고, 대개 상한이 있으며, 직접 수집한 로그로 청구해야 합니다.
SLA가 없는 API 위에서는 어떻게 구축하나요?
대부분의 팀은 SLA가 없는 종량제 API 위에서 구축합니다. 애플리케이션이 장애를 전제로 한다면 충분히 가능합니다.
- 타임아웃을 설정하세요. 긴 답변은 스트리밍하고 요청마다 클라이언트 타임아웃을 설정해서, 멈춘 호출이 빨리 실패하게 하세요. 스트리밍 가이드를 참고하세요.
- 429와 5XX에서는 백오프와 지터를 두고 재시도하고, 재시도 횟수에 상한을 두세요. 오류와 재시도를 참고하세요.
- 두 번째 제공업체를 설정해 두세요. OpenAI 호환 API라면 대체 경로는 두 번째 base URL, 키, 모델 ID입니다. LLM API 간 페일오버 방법을 참고하세요.
- 요청 ID, 타임스탬프, 상태 코드를 기록하세요. SLA 청구에 필요하고, 실제 오류율을 파악하는 데도 필요합니다.
- 필요한 곳에서는 계약을 맺으세요. 가동 시간이 필수 요건이라면 서면 SLA가 있는 제공업체 등급이나, 서비스 수준을 합의한 비공개 배포를 쓰세요. 전용 엔드포인트 전에 계획할 것을 참고하세요.
BroadNet Inference는 어디에 적합한가요?
BroadRouter는 BroadNet의 웹사이트입니다. BroadNet의 셀프서비스 API는 종량제든 플랜이든 SLA가 없습니다. 서비스 약관(§7.4)에는 “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.”(번역: API를 계속 이용 가능하게 유지하고 측정한 내용을 공개하는 것을 목표로 하지만, 셀프서비스에는 가용성 약정이 없습니다.) 그리고 “Service levels exist only in a separate written agreement.”(번역: 서비스 수준은 별도의 서면 계약에서만 존재합니다.)라고 되어 있습니다. 이 점에서는 Azure, AWS, Google이 더 많은 것을 제공합니다. 크레딧이 따르는 서면 가동률 목표입니다. BroadNet 종량제 키는 분당 요청 30개, 동시 요청 4개까지 허용합니다. BroadNet이 직접 설명한 서빙 구성은 BroadNet의 GPU 하드웨어와 서빙 방식에 있으며, 이는 약정이 아니라 BroadNet의 설명으로 전해 드리는 것입니다.
작업이 재시도와 대체 경로로 돌아갈 수 있다면, BroadNet의 OpenAI 호환 엔드포인트는 설정할 base URL 하나가 더 늘어나는 것입니다. 주소는 https://inference.broadnet.ai/v1입니다. 계약된 서비스 수준이 필요하다면, 그에 의존하기 전에 BroadNet에 서면 계약을 문의하세요. API 레퍼런스 읽기 또는 계정 만들기.
