“高可用”只是一种期望。SLA 则是写进合同的一个数字,并规定了数字没达到时的补救方式。
工作原理
一份 SLA 要定义四件事:覆盖什么、停机怎么衡量、目标没达到时你能得到什么,以及如何申请。Google 为其 Gemini Enterprise Agent Platform 上的 Gemini 在线推理 API 制定的 SLA,就是一个清晰的真实例子:
- 目标。
generateContent和streamGenerateContent方法的每月可用性百分比为 99.5%(被指定为较短可用期的模型为 95%)。 - 停机。 “more than a five percent Error Rate”(译文:错误率超过 5%),其中错误指对有效请求返回的 HTTP 5XX 响应,并且只统计 “five or more consecutive minutes”(译文:连续五分钟或以上)的时段。
- 抵扣。
| 每月可用性 | 抵扣该服务当月账单的比例 |
|---|---|
| 99.0% 至低于 99.5% | 10% |
| 95.0% 至低于 99.0% | 25% |
| 低于 95.0% | 50% |
- 申请。 客户 “must notify Google technical support within 30 days”(译文:必须在 30 天内通知 Google 技术支持),并提供显示停机时段的日志文件。抵扣上限为该服务当月账单的 50%。
- 除外情况。 GA 前功能、Grounding with Google Search、客户自身软件造成的错误、短于服务器默认值的截止时间,以及配额错误都不在覆盖范围内。
同一份 SLA 还为 Provisioned Throughput 下的部分模型增加了延迟目标,以每秒输出 token 数衡量。Azure、Amazon Bedrock、OpenAI、Anthropic 等的横向对比,见大模型 API SLA 对比。
为什么重要
- 可用性不等于吞吐。 只统计 5XX 错误的 SLA,对速率限制(429)或响应缓慢只字不提,除非它有延迟目标。
- 抵扣很少。 10% 的抵扣很难抵得上一次故障给你产品造成的损失。无论如何都要为失败做设计:带退避的重试、超时,以及回退模型或备用服务商。参见错误码与重试指南。
- 读清除外条款。 Google 的 SLA 排除了 GA 前功能和若干具名服务;任何 SLA 都要查看有没有类似的例外。
- 保留自己的日志。 申请需要证据。记录请求 ID、时间戳和状态码。
在 BroadNet Inference 上
BroadNet 的自助 API,无论按量付费还是套餐,都没有 SLA。它的服务条款(§7.4)写道:“We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.”(译文:我们力求保持 API 可用并公布我们的测量结果,但自助服务没有可用性承诺。)条款还说 “Service levels exist only in a separate written agreement”(译文:服务等级只存在于单独的书面协议中),私有端点和预留容量都遵循该协议。如果你需要合同约定的可用性,请向 BroadNet 咨询私有端点;我们的私有端点规划文章介绍了需要规划的内容。对于自助服务,请准备回退方案:服务商选择清单提到,我们在 BroadNet 的文档中没有找到 SLA、状态页或模型弃用政策。