「高可用性」は願望です。SLA は契約に書かれた数字で、その数字を下回ったときの補償が決まっています。
仕組み
SLA は 4 つのことを定めます。何が対象か、ダウンタイムをどう測るか、目標を下回ったら何が得られるか、どう請求するかです。Google が Gemini Enterprise Agent Platform 上の Gemini オンライン推論 API に定めた SLA は、わかりやすい実例です。
- 目標。
generateContentとstreamGenerateContentメソッドについて、月間稼働率 99.5%(提供期間が短いと指定されたモデルは 95%)。 - ダウンタイム。 “more than a five percent Error Rate”(訳:エラー率が 5% を超えること)。エラーは有効なリクエストへの HTTP 5XX レスポンスで、“five or more consecutive minutes”(訳:連続 5 分以上)の期間だけが数えられます。
- クレジット。
| 月間稼働率 | サービスの月額請求に対するクレジット |
|---|---|
| 99.0% 以上 99.5% 未満 | 10% |
| 95.0% 以上 99.0% 未満 | 25% |
| 95.0% 未満 | 50% |
- 請求。 顧客は “must notify Google technical support within 30 days”(訳:30 日以内に Google のテクニカルサポートへ通知しなければならない)うえ、ダウンタイムの期間を示すログファイルを提出します。クレジットの上限はそのサービスの当月請求額の 50% です。
- 対象外。 GA 前の機能、Grounding with Google Search、顧客自身のソフトウェアによるエラー、サーバーのデフォルトより短い期限、クォータのエラーは対象外です。
同じ SLA は、Provisioned Throughput の一部のモデルについて、1 秒あたりの出力トークン数で測るレイテンシ目標も加えています。Azure、Amazon Bedrock、OpenAI、Anthropic などの比較は LLM API の SLA 比較を参照してください。
なぜ重要か
- 稼働率はスループットではない。 5XX エラーだけを数える SLA は、レイテンシの目標がない限り、レート制限(429)や遅い応答については何も約束しません。
- クレジットは小さい。 10% のクレジットが、障害による自社プロダクトの損失に見合うことはまずありません。いずれにせよ障害を前提に設計してください。バックオフ付きのリトライ、タイムアウト、フォールバック用のモデルや別プロバイダーです。エラーとリトライのガイドを参照してください。
- 対象外の条項を読む。 Google の SLA は GA 前の機能や特定のサービスを除外しています。どの SLA でも同様の除外がないか確認してください。
- 自分でログを残す。 請求には証拠が要ります。リクエスト ID、タイムスタンプ、ステータスコードを記録してください。
BroadNet Inference の場合
BroadNet のセルフサービス API には、従量課金でもプランでも SLA はありません。利用規約(§7.4)には “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.”(訳:API を利用可能に保ち、測定結果を公開するよう努めますが、セルフサービスに可用性の約束はありません。)とあります。さらに “Service levels exist only in a separate written agreement”(訳:サービスレベルは別の書面契約にのみ存在する)とし、プライベートエンドポイントと予約容量はその契約に従うとしています。契約上の稼働率が必要なら、BroadNet にプライベートエンドポイントを相談してください。計画すべき点はプライベートエンドポイントの計画の記事にまとめています。セルフサービスではフォールバックを用意してください。プロバイダー選びのチェックリストにあるとおり、BroadNet のドキュメントには SLA、ステータスページ、モデル廃止のポリシーが見当たりませんでした。