Pag-asa lang ang “highly available.” Ang SLA ay numero sa kontrata, na may takdang remedyo kapag hindi naabot ang numerong iyon.
Paano ito gumagana
Apat na bagay ang itinatakda ng SLA: ano ang sakop, paano sinusukat ang downtime, ano ang makukuha mo kapag hindi naabot ang target, at paano mag-claim. Malinaw na totoong halimbawa ang SLA ng Google para sa Gemini online inference API sa Gemini Enterprise Agent Platform nito:
- Target. 99.5% na Monthly Uptime Percentage para sa mga method na
generateContentatstreamGenerateContent(95% para sa mga model na itinalaga para sa mas maikling availability). - Downtime. “more than a five percent Error Rate” (Salin ng BroadRouter: “Error Rate na higit sa limang porsiyento”), kung saan ang error ay HTTP 5XX na response sa mga valid na request, na binibilang lang sa mga yugto ng “five or more consecutive minutes” (Salin ng BroadRouter: “lima o higit pang magkakasunod na minuto”).
- Mga credit.
| Buwanang uptime | Credit sa buwanang bill ng serbisyo |
|---|---|
| 99.0% hanggang mas mababa sa 99.5% | 10% |
| 95.0% hanggang mas mababa sa 99.0% | 25% |
| Mas mababa sa 95.0% | 50% |
- Pag-claim. Ang customer ay “must notify Google technical support within 30 days” (Salin ng BroadRouter: “kailangang abisuhan ang technical support ng Google sa loob ng 30 araw”) at magbigay ng mga log file na nagpapakita ng mga yugto ng downtime. Hanggang 50% ng bill ng buwan para sa serbisyo ang credit.
- Mga hindi kasama. Hindi sakop ang mga pre-GA feature, ang Grounding with Google Search, mga error mula sa sariling software ng customer, mga deadline na mas maikli sa default ng server, at mga quota error.
May dagdag na latency target ang parehong SLA para sa ilang model sa ilalim ng Provisioned Throughput, na sinusukat sa output token kada segundo. Para makita nang magkakatabi ang Azure, Amazon Bedrock, OpenAI, Anthropic at iba pa, tingnan ang paghahambing ng mga SLA ng LLM API.
Bakit ito mahalaga
- Hindi throughput ang uptime. Walang sinasabi tungkol sa rate limit (429) o mabagal na response ang SLA na 5XX error lang ang binibilang, maliban kung may target ito sa latency.
- Maliit ang credit. Bihirang tumapat ang 10% na credit sa gastos ng outage sa produkto mo. Magdisenyo pa rin para sa pagpalya: mga retry na may backoff, mga timeout, at fallback model o provider. Tingnan ang gabay sa errors at retries.
- Basahin ang mga hindi kasama. Hindi sakop ng SLA ng Google ang mga pre-GA feature at ilang pinangalanang serbisyo; hanapin ang ganitong mga eksepsiyon sa anumang SLA.
- Mag-ingat ng sariling log. Kailangan ng ebidensiya ang claim. I-log ang mga request ID, timestamp at status code.
Sa BroadNet Inference
Walang SLA ang self-serve na API ng BroadNet, pay-as-you-go man o plan. Sabi ng Terms of Service nito (§7.4): “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (Salin ng BroadRouter: “Sinisikap naming panatilihing available ang API at inilalathala namin ang sinusukat namin, pero walang availability commitment ang self-serve.”) Idinadagdag nito na “Service levels exist only in a separate written agreement” (Salin ng BroadRouter: “May service level lang sa hiwalay na nakasulat na kasunduan”) at na sumusunod sa kasunduang iyon ang mga private endpoint at reserved capacity. Kung kailangan mo ng uptime na nasa kontrata, tanungin ang BroadNet tungkol sa private endpoint; saklaw ng aming post sa pagpaplano ng private endpoint ang dapat paghandaan. Para sa self-serve, magplano ng fallback: binabanggit ng provider checklist na wala kaming nakitang SLA, status page o deprecation policy sa docs ng BroadNet.