Cari “SLA API LLM” dan Anda akan menemukan tabel-tabel yang saling bertentangan. Artikel ini melewati tabel-tabel itu dan membaca sumbernya: halaman SLA atau ketentuan milik setiap penyedia, diakses pada 15 November 2026. Untuk masing-masing, kami mencatat target uptime, apa yang dihitung sebagai downtime, kredit layanan, target latensi jika ada, dan tier mana yang dilindungi. BroadRouter adalah situs web BroadNet, jadi BroadNet ikut ada di daftar, dan BroadNet termasuk penyedia yang tidak punya SLA untuk self-serve.
Apa yang sebenarnya dijanjikan SLA API LLM?
SLA adalah target tertulis dengan kompensasi. SLA tidak membuat API tetap menyala. SLA menjelaskan apa yang terjadi pada tagihan Anda saat API tidak menyala. Setiap SLA di bawah punya empat bagian yang sama:
- Target. Biasanya persentase uptime bulanan per region, proyek, atau resource.
- Definisi downtime. Hampir selalu hanya error server: respons 500 atau 5XX untuk permintaan yang valid. Rate limit 429 bukan downtime. Begitu juga jawaban yang lambat atau salah.
- Kompensasi. Persentase dari tagihan bulan itu untuk layanan yang terdampak, dikreditkan ke tagihan berikutnya dan dibatasi.
- Proses klaim. Anda meminta kreditnya, dengan log milik Anda sendiri, dalam tenggat tertentu.
Persentasenya jika diterjemahkan ke menit, untuk bulan 30 hari dengan 43.200 menit:
| Uptime bulanan | Downtime yang diizinkan |
|---|---|
| 99,9% | sekitar 43 menit |
| 99,5% | 216 menit |
| 99,0% | 432 menit |
| 95,0% | 36 jam |
API LLM mana yang memublikasikan SLA?
Semua baris dibaca dari halaman milik penyedia pada 15 November 2026. “Tidak ditemukan” berarti halaman yang kami cek tidak menyebut SLA; itu tidak menutup kemungkinan adanya kontrak privat.
| Penyedia dan layanan | Target uptime | Dihitung downtime | Kredit | SLA latensi | Siapa yang dilindungi |
|---|---|---|---|---|---|
| Microsoft Azure, Foundry Models (termasuk model Azure OpenAI) | 99,9% | Permintaan yang mengembalikan kode error, dirata-rata per menit | 10% di bawah 99,9%, 25% di bawah 99% | Ya, untuk deployment Provisioned Managed dan Priority Processing | Foundry Models yang dijual oleh Azure; tier Developer dikecualikan |
| Amazon Bedrock | 99,9% (kredit mulai di bawahnya) | Permintaan yang mengembalikan kode error 500, per interval 5 menit, per region | 10%, 25% di bawah 99,0%, 100% di bawah 95,0% | Tidak ada di SLA | Bedrock di setiap region AWS |
| Google, API inferensi online Gemini | 99,5% (95% untuk model dengan ketersediaan lebih singkat) | Tingkat error 5XX di atas 5% selama 5 menit berturut-turut atau lebih | 10%, 25% di bawah 99,0%, 50% di bawah 95,0% | Ya, dengan Provisioned Throughput di endpoint global | generateContent dan streamGenerateContent |
| OpenAI, Scale Tier | 99,9% | Tidak didefinisikan di halaman publik | Tidak disebutkan di halaman publik | 99% waktu di atas batas bawah token per detik per model | Pelanggan Enterprise, unit token dibeli minimal 30 hari |
| OpenAI, bayar sesuai pemakaian standar | Tidak ditemukan | – | – | – | – |
| Anthropic API | Tidak ditemukan; ketentuan menyebut “as is” dan “as available” (apa adanya dan sebagaimana tersedia) | – | – | – | – |
| Fireworks AI, Reserved Throughput | Ketentuan uptime 99,9% | Tidak disebutkan di halaman harga | Tidak disebutkan | SLA throughput | Hanya kapasitas yang dipesan; kelebihan pemakaian tidak dilindungi |
| Together AI | Serverless: tidak disebutkan. “Provisioned Throughput: Token-based capacity with SLAs” (Terjemahan BroadRouter: kapasitas berbasis token dengan SLA) (ketentuannya tidak dipublikasikan di halaman) | – | – | – | Tanyakan ketentuan SLA ke tim sales |
| BroadNet Inference, self-serve | Tidak ada: “no availability commitment” (tidak ada komitmen ketersediaan) | – | – | – | Tingkat layanan hanya dalam perjanjian tertulis terpisah |
Apa beda SLA para hyperscaler?
Microsoft Azure. Halaman Learn Microsoft menyebut Foundry Models yang dijual oleh Azure “include all Azure OpenAI models” (mencakup semua model Azure OpenAI) dan “covered by Azure service-level agreements” (dilindungi perjanjian tingkat layanan Azure). SLA gabungan (edisi Oktober 2026) mendefinisikan Error Rate per menit dan Uptime Percentage sebagai 100% dikurangi rata-rata tingkat error. Kreditnya 10% di bawah 99,9% dan 25% di bawah 99%. Kredit hanya berlaku untuk Foundry Models yang dijual oleh Azure, dan “The Developer tier of the Foundry Models service is not covered by this SLA.” (Terjemahan BroadRouter: Tier Developer dari layanan Foundry Models tidak dilindungi SLA ini.) Untuk deployment Provisioned Managed dan Priority Processing, SLA kedua mengukur token per detik terhadap target per model di dokumentasi produk, dengan kredit 10% jika pencapaiannya turun di bawah 99%.
Amazon Bedrock. AWS berkomitmen pada “commercially reasonable efforts” (upaya yang wajar secara komersial) untuk memenuhi tabel uptime. Ketersediaan adalah “the percentage of Requests processed by Amazon Bedrock that do not fail with Errors” (persentase Permintaan yang diproses Amazon Bedrock yang tidak gagal karena Error), dan Error adalah “any Request that returns a 500 error code” (setiap Permintaan yang mengembalikan kode error 500). Dihitung per region, dan interval tanpa permintaan dianggap tersedia penuh. Pengecualiannya mencakup tindakan pelanggan seperti “scaling of provisioned throughput” (penskalaan provisioned throughput) dan software model yang menyebabkan “repeated model crashes or an inoperable model” (model berulang kali crash atau tidak dapat beroperasi). SLA ini tidak punya target latensi.
Google Cloud. SLA inferensi online Gemini adalah yang paling ketat soal apa yang dihitung. Downtime mensyaratkan tingkat error respons 5XX di atas 5%, berlangsung “five or more consecutive minutes” (lima menit berturut-turut atau lebih). Kredit dibatasi 50% dari tagihan bulanan layanan itu, Anda wajib memberi tahu tim support dalam 30 hari dengan file log, dan SLA tersebut adalah “sole and exclusive remedy” (satu-satunya kompensasi) Anda. Grounding dengan Google Search, error kuota, dan deadline yang lebih pendek dari default server dikecualikan. Dengan Provisioned Throughput, SLA latensi mencakup sebagian model Gemini 2.5 di endpoint global, diukur sebagai p50 token per detik per interval 5 menit. Jika Anda men-deploy model terbuka sendiri di Vertex AI, SLA Vertex AI Platform yang terpisah mencakup prediksi online model kustom di 99,5%, tetapi hanya “for models deployed on 2 or more nodes” (untuk model yang di-deploy di 2 node atau lebih).
Bagaimana dengan OpenAI dan Anthropic secara langsung?
OpenAI. Halaman Scale Tier menyebut: “Scale Tier traffic offers a 99.9% uptime SLA and prioritized compute.” (Terjemahan BroadRouter: Trafik Scale Tier menawarkan SLA uptime 99,9% dan komputasi yang diprioritaskan.) Tabelnya memasangkan itu dengan SLA latensi per model, misalnya “99% > 50 tokens per second” (99% waktu di atas 50 token per detik), dihitung sebagai latensi permintaan p50 per 5 menit. Halaman itu menyebut “This offering is available to Enterprise customers” (Penawaran ini tersedia untuk pelanggan Enterprise), bahwa setiap unit token dibeli “for a minimum of 30 days” (minimal 30 hari), dan bahwa Scale Tier mencakup model yang dirilis sebelum GPT-5.6, dengan Reserved Tier untuk model setelahnya. Kami tidak menemukan SLA uptime yang melekat pada pemakaian bayar sesuai pemakaian standar. (openai.com memblokir fetcher kami, jadi kami membaca halamannya dari tangkapan Internet Archive 7 November 2026.)
Anthropic. Commercial Terms publik (berlaku 17 Juni 2025) tidak berisi SLA atau kredit layanan. Bagian L.2 menyediakan layanan “AS IS” dan “AS AVAILABLE” (APA ADANYA dan SEBAGAIMANA TERSEDIA) dan menolak menjamin bahwa pemakaian “WILL BE UNINTERRUPTED” (AKAN BEBAS GANGGUAN). Perjanjian enterprise mungkin berbeda, tetapi tidak dipublikasikan.
Apa yang tidak Anda dapatkan dari SLA?
- Uptime itu sendiri. Kredit dibayar setelah gangguan terjadi. Pengguna Anda tetap mengalaminya.
- Kapasitas. Throttling (429) berada di luar semua definisi uptime di atas. Google secara eksplisit mengecualikan “quotas applied by the system” (kuota yang diterapkan sistem). Lihat cara menangani error 429.
- Kecepatan. Hanya tier provisioned atau reserved yang punya target token per detik. Pada trafik standar, jawaban lambat tetap terhitung jawaban sukses. Penjelasan metrik latensi.
- Kualitas. Respons 200 dengan jawaban yang salah tidak dianggap downtime di mana pun.
- Uang yang berarti. Kredit adalah porsi dari tagihan bulanan satu layanan, sering kali dibatasi, dan harus Anda klaim dengan log Anda sendiri.
Bagaimana membangun di atas API tanpa SLA?
Sebagian besar tim membangun di atas API bayar sesuai pemakaian tanpa SLA. Itu bisa berjalan baik jika aplikasinya siap menghadapi kegagalan:
- Pasang timeout. Streaming jawaban panjang dan atur timeout client per permintaan, agar panggilan yang macet cepat gagal. Panduan streaming.
- Retry dengan backoff dan jitter pada 429 dan 5XX, dan batasi jumlah retry. Error dan retry.
- Siapkan penyedia kedua. Dengan API yang kompatibel dengan OpenAI, cadangan cukup berupa base URL, kunci, dan ID model kedua. Cara failover antar-API LLM.
- Catat ID permintaan, timestamp, dan kode status. Anda membutuhkannya untuk klaim SLA apa pun, dan untuk melihat tingkat error Anda yang sebenarnya.
- Beli kontrak jika memang perlu. Jika uptime adalah syarat mutlak, pakai tier penyedia dengan SLA tertulis, atau deployment privat dengan tingkat layanan yang disepakati. Apa yang perlu direncanakan sebelum endpoint privat.
Posisi BroadNet Inference
BroadRouter adalah situs web milik BroadNet sendiri. API self-serve BroadNet, baik bayar sesuai pemakaian maupun paket, tidak punya SLA. Ketentuan Layanannya (§7.4) menyebut: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (Terjemahan BroadRouter: Kami berupaya menjaga API tetap tersedia dan memublikasikan apa yang kami ukur, tetapi self-serve tidak punya komitmen ketersediaan.) Dan: “Service levels exist only in a separate written agreement.” (Terjemahan BroadRouter: Tingkat layanan hanya ada dalam perjanjian tertulis terpisah.) Dalam hal ini Azure, AWS, dan Google menawarkan lebih: target uptime tertulis dengan kredit. Kunci bayar sesuai pemakaian BroadNet mengizinkan 30 permintaan per menit dan 4 permintaan berjalan sekaligus. Penjelasan BroadNet sendiri tentang setup penyajiannya ada di hardware GPU dan pendekatan penyajian BroadNet, yang kami laporkan sebagai keterangan BroadNet, bukan sebagai komitmen.
Jika beban kerja Anda bisa berjalan dengan retry dan cadangan, endpoint BroadNet yang kompatibel dengan OpenAI adalah satu base URL lagi untuk dikonfigurasi: https://inference.broadnet.ai/v1. Jika Anda membutuhkan tingkat layanan yang dikontrakkan, tanyakan ke BroadNet soal perjanjian tertulis sebelum mengandalkannya. Baca referensi API atau buat akun.
