BroadRouter
开始使用

SLA(服务等级协议)

更新于

SLA(服务等级协议)是服务商在合同中对可衡量服务水平的承诺,通常是每月可用性百分比,并规定未达标时的补救方式,通常是服务抵扣。SLA 会定义什么算停机、哪些情况除外,以及如何申请赔付。

又称: 服务等级协议、服务水平协议、可用性 SLA、可用性承诺、服务抵扣、赔偿条款、SLA、service level agreement、uptime SLA、uptime guarantee、service credits

“高可用”只是一种期望。SLA 则是写进合同的一个数字,并规定了数字没达到时的补救方式。

工作原理

一份 SLA 要定义四件事:覆盖什么、停机怎么衡量、目标没达到时你能得到什么,以及如何申请。Google 为其 Gemini Enterprise Agent Platform 上的 Gemini 在线推理 API 制定的 SLA,就是一个清晰的真实例子:

  • 目标。 generateContent 和 streamGenerateContent 方法的每月可用性百分比为 99.5%(被指定为较短可用期的模型为 95%)。
  • 停机。 “more than a five percent Error Rate”(译文:错误率超过 5%),其中错误指对有效请求返回的 HTTP 5XX 响应,并且只统计 “five or more consecutive minutes”(译文:连续五分钟或以上)的时段。
  • 抵扣。
每月可用性 抵扣该服务当月账单的比例
99.0% 至低于 99.5% 10%
95.0% 至低于 99.0% 25%
低于 95.0% 50%
  • 申请。 客户 “must notify Google technical support within 30 days”(译文:必须在 30 天内通知 Google 技术支持),并提供显示停机时段的日志文件。抵扣上限为该服务当月账单的 50%。
  • 除外情况。 GA 前功能、Grounding with Google Search、客户自身软件造成的错误、短于服务器默认值的截止时间,以及配额错误都不在覆盖范围内。

同一份 SLA 还为 Provisioned Throughput 下的部分模型增加了延迟目标,以每秒输出 token 数衡量。Azure、Amazon Bedrock、OpenAI、Anthropic 等的横向对比,见大模型 API SLA 对比。

为什么重要

  • 可用性不等于吞吐。 只统计 5XX 错误的 SLA,对速率限制(429)或响应缓慢只字不提,除非它有延迟目标。
  • 抵扣很少。 10% 的抵扣很难抵得上一次故障给你产品造成的损失。无论如何都要为失败做设计:带退避的重试、超时,以及回退模型或备用服务商。参见错误码与重试指南。
  • 读清除外条款。 Google 的 SLA 排除了 GA 前功能和若干具名服务;任何 SLA 都要查看有没有类似的例外。
  • 保留自己的日志。 申请需要证据。记录请求 ID、时间戳和状态码。

在 BroadNet Inference 上

BroadNet 的自助 API,无论按量付费还是套餐,都没有 SLA。它的服务条款(§7.4)写道:“We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.”(译文:我们力求保持 API 可用并公布我们的测量结果,但自助服务没有可用性承诺。)条款还说 “Service levels exist only in a separate written agreement”(译文:服务等级只存在于单独的书面协议中),私有端点和预留容量都遵循该协议。如果你需要合同约定的可用性,请向 BroadNet 咨询私有端点;我们的私有端点规划文章介绍了需要规划的内容。对于自助服务,请准备回退方案:服务商选择清单提到,我们在 BroadNet 的文档中没有找到 SLA、状态页或模型弃用政策。

常见问题

每月 99.5% 的可用性意味着允许停机多久?

30 天的月份里大约 3.6 小时:43,200 分钟的 0.5% 是 216 分钟。还要看 SLA 如何定义停机,短时或局部故障可能不算。

服务抵扣能弥补我的损失吗?

通常不能。抵扣是对受影响服务未来账单的折扣,而且常有上限。例如 Google 的 Gemini SLA 把抵扣上限定为该服务当月账单的 50%,并称该 SLA 是客户的 "sole and exclusive remedy"(译文:唯一且排他的救济)。

BroadNet Inference 有 SLA 吗?

自助服务没有。BroadNet 的服务条款说,自助服务没有可用性承诺,服务等级只存在于单独的书面协议中,例如私有端点。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity