BroadRouter

LLM API SLA'ları: Azure, Bedrock, Google ve OpenAI ne vaat ediyor?

BroadNet Inference ekibi · 7 dk okuma · Yayımlandı · Güncellendi

LLM API'lerinin çoğu kullandıkça öde modelinde hiçbir çalışma süresi vaat etmez. Yazılı SLA'lar bulut sözleşmeleri veya ayrılmış kapasiteyle gelir: Azure Foundry Models ve Amazon Bedrock aylık çalışma süresi %99,9'un altına düşerse, Google'ın Gemini çevrimiçi çıkarımı %99,5'in altına düşerse kredi verir; OpenAI'nin Scale Tier'ı Enterprise müşterilerine %99,9 sunar. Anthropic'in ticari şartlarında ve BroadNet'in self-servis şartlarında SLA yoktur. Telafi, fatura kredisidir.

“LLM API SLA” diye aradığınızda birbiriyle çelişen tablolar çıkar. Bu yazı tabloları bir kenara bırakıp kaynağa bakıyor: her sağlayıcının 15 Kasım 2026’da erişilen kendi SLA veya şartlar sayfası. Her biri için çalışma süresi hedefini, neyin kesinti sayıldığını, hizmet kredisini, varsa gecikme hedefini ve hangi katmanın kapsandığını not ettik. BroadRouter, BroadNet’in web sitesidir; bu yüzden BroadNet de listede yer alıyor ve self-serviste SLA’sı olmayan sağlayıcılardan biri.

Bir LLM API SLA’sı gerçekte neyi vaat eder?

SLA, telafisi olan yazılı bir hedeftir. API’yi ayakta tutmaz; ayakta kalmadığında faturanıza ne olacağını söyler. Aşağıdaki her SLA aynı dört parçadan oluşur:

  1. Bir hedef. Genellikle bölge, proje veya kaynak başına aylık çalışma süresi yüzdesi.
  2. Kesinti tanımı. Neredeyse her zaman yalnızca sunucu hataları: geçerli isteklere verilen 500 veya 5XX yanıtları. 429 hız sınırı kesinti değildir. Yavaş bir yanıt veya yanlış bir yanıt da değildir.
  3. Bir telafi. Etkilenen hizmetin o ayki faturasının bir yüzdesi; gelecek faturalara kredi olarak yazılır ve üst sınırı vardır.
  4. Bir talep süreci. Krediyi kendi kayıtlarınızla, belirli bir süre içinde talep edersiniz.

43.200 dakikalık 30 günlük bir ay için yüzdeler dakikaya şöyle çevrilir:

Aylık çalışma süresi İzin verilen kesinti
%99,9 yaklaşık 43 dakika
%99,5 216 dakika
%99,0 432 dakika
%95,0 36 saat

Hangi LLM API’leri SLA yayımlıyor?

Tüm satırlar 15 Kasım 2026’da sağlayıcının kendi sayfasından okundu. “Bulunamadı”, kontrol ettiğimiz sayfada SLA belirtilmediği anlamına gelir; özel bir sözleşmeyi dışlamaz.

Sağlayıcı ve hizmet Çalışma süresi hedefi Kesinti sayılan Krediler Gecikme SLA’sı Kapsanan
Microsoft Azure, Foundry Models (Azure OpenAI modelleri dahil) %99,9 Hata kodu döndüren istekler, dakika başına ortalama %99,9 altında %10, %99 altında %25 Var; Provisioned Managed dağıtımları ve Priority Processing için Azure tarafından satılan Foundry Models; Developer katmanı hariç
Amazon Bedrock %99,9 (krediler altında başlar) 500 hata kodu döndüren istekler, 5 dakikalık aralık başına, bölge başına %10, %99,0 altında %25, %95,0 altında %100 SLA’da yok Her AWS bölgesinde Bedrock
Google, Gemini çevrimiçi çıkarım API’si %99,5 (erişilebilirliği daha kısa olan modellerde %95) Art arda 5 dakika veya daha uzun süre %5’in üzerinde 5XX hata oranı %10, %99,0 altında %25, %95,0 altında %50 Var; küresel uç noktada Provisioned Throughput kapsamında generateContent ve streamGenerateContent
OpenAI, Scale Tier %99,9 Herkese açık sayfada tanımlanmamış Herkese açık sayfada belirtilmemiş Sürenin %99’unda model başına saniye başına token tabanının üzerinde Enterprise müşterileri, en az 30 günlüğüne satın alınan token birimleri
OpenAI, standart kullandıkça öde Bulunamadı – – – –
Anthropic API Bulunamadı; şartlar “as is” ve “as available” (olduğu gibi ve erişilebildiği ölçüde) der – – – –
Fireworks AI, Reserved Throughput %99,9 çalışma süresi koşulları Fiyat sayfasında belirtilmemiş Belirtilmemiş İşlem hacmi SLA’sı Yalnızca ayrılmış kapasite; aşım kapsam dışı
Together AI Sunucusuz: belirtilmemiş. “Provisioned Throughput: Token-based capacity with SLAs” (BroadRouter çevirisi: SLA’lı, token tabanlı kapasite) (koşullar sayfada yayımlanmamış) – – – SLA koşullarını satış ekibine sorun
BroadNet Inference, self-servis Yok: “no availability commitment” (erişilebilirlik taahhüdü yok) – – – Hizmet seviyeleri yalnızca ayrı bir yazılı sözleşmede

Büyük bulut sağlayıcılarının SLA’ları nasıl ayrışıyor?

Microsoft Azure. Microsoft’un Learn sayfası, Azure tarafından satılan Foundry Models’in “include all Azure OpenAI models” (tüm Azure OpenAI modellerini içerdiğini) ve “covered by Azure service-level agreements” (Azure hizmet seviyesi sözleşmeleri kapsamında olduğunu) söyler. Birleştirilmiş SLA (Ekim 2026 sürümü), Hata Oranını dakika başına tanımlar; Çalışma Süresi Yüzdesi ise %100 eksi ortalama hata oranıdır. Krediler %99,9’un altında %10, %99’un altında %25’tir. Krediler yalnızca Azure tarafından satılan Foundry Models için geçerlidir ve “The Developer tier of the Foundry Models service is not covered by this SLA.” (BroadRouter çevirisi: Foundry Models hizmetinin Developer katmanı bu SLA kapsamında değildir.) Provisioned Managed dağıtımları ve Priority Processing için ikinci bir SLA, saniye başına token’ı ürün belgelerindeki model başına bir hedefe göre ölçer; başarı oranı %99’un altına düşerse %10 kredi verilir.

Amazon Bedrock. AWS, çalışma süresi tablosunu karşılamak için “commercially reasonable efforts” (ticari olarak makul çaba) taahhüt eder. Erişilebilirlik “the percentage of Requests processed by Amazon Bedrock that do not fail with Errors” (Amazon Bedrock tarafından işlenen ve Hata ile başarısız olmayan İsteklerin yüzdesi) olarak tanımlanır; Hata ise “any Request that returns a 500 error code” (500 hata kodu döndüren herhangi bir İstek) demektir. Bölge başına hesaplanır ve hiç istek olmayan aralıklar tamamen erişilebilir sayılır. İstisnalar arasında “scaling of provisioned throughput” (ayrılmış işlem hacminin ölçeklendirilmesi) gibi müşteri eylemleri ve “repeated model crashes or an inoperable model” (tekrarlanan model çökmeleri veya çalışmayan bir model) yol açan model yazılımı vardır. SLA’nın gecikme hedefi yoktur.

Google Cloud. Neyin sayıldığı konusunda en katı olan Gemini çevrimiçi çıkarım SLA’sıdır. Kesinti için 5XX yanıtlarında %5’in üzerinde ve “five or more consecutive minutes” (art arda beş veya daha fazla dakika) süren bir hata oranı gerekir. Krediler hizmetin aylık faturasının %50’siyle sınırlıdır; destek ekibine 30 gün içinde kayıt dosyalarıyla bildirimde bulunmanız gerekir ve SLA sizin “sole and exclusive remedy” (tek ve münhasır telafi) yolunuzdur. Google Search ile grounding, kota hataları ve sunucu varsayılanından kısa süre sınırları kapsam dışıdır. Provisioned Throughput kapsamında bir gecikme SLA’sı, küresel uç noktadaki bazı Gemini 2.5 modellerini kapsar; 5 dakikalık aralık başına p50 saniye başına token olarak ölçülür. Bunun yerine Vertex AI’da kendi açık modelinizi dağıtırsanız, ayrı Vertex AI Platform SLA’sı özel model çevrimiçi tahminini %99,5 ile kapsar, ama yalnızca “for models deployed on 2 or more nodes” (2 veya daha fazla düğüme dağıtılmış modeller için).

Peki doğrudan OpenAI ve Anthropic?

OpenAI. Scale Tier sayfası şöyle der: “Scale Tier traffic offers a 99.9% uptime SLA and prioritized compute.” (BroadRouter çevirisi: Scale Tier trafiği %99,9 çalışma süresi SLA’sı ve öncelikli işlem gücü sunar.) Tablosu bunu model başına bir gecikme SLA’sıyla eşleştirir; örneğin “99% > 50 tokens per second” (sürenin %99’unda saniyede 50 token’ın üzerinde); 5 dakika başına p50 istek gecikmesi olarak hesaplanır. Sayfa “This offering is available to Enterprise customers” (bu teklif Enterprise müşterilerine açıktır) der; her token biriminin “for a minimum of 30 days” (en az 30 günlüğüne) satın alındığını ve Scale Tier’ın GPT-5.6’dan önce çıkan modelleri kapsadığını, sonraki modeller için Reserved Tier olduğunu belirtir. Standart kullandıkça öde kullanımına bağlı bir çalışma süresi SLA’sı bulamadık. (openai.com aracımızı engellediği için sayfayı Internet Archive’ın 7 Kasım 2026 kaydından okuduk.)

Anthropic. Herkese açık Commercial Terms (yürürlük 17 Haziran 2025) SLA veya hizmet kredisi içermez. Bölüm L.2 hizmetleri “AS IS” ve “AS AVAILABLE” (OLDUĞU GİBİ ve ERİŞİLEBİLDİĞİ ÖLÇÜDE) sunar ve kullanımın “WILL BE UNINTERRUPTED” (KESİNTİSİZ OLACAĞINI) reddeder. Kurumsal sözleşmeler farklı olabilir, ama herkese açık değildir.

SLA size neyi sağlamaz?

  • Çalışma süresinin kendisini. Kredi kesintiden sonra ödenir. Kullanıcılarınız kesintiyi yine de görmüştür.
  • Kapasite. Kısıtlama (429), yukarıdaki tüm çalışma süresi tanımlarının dışındadır. Google “quotas applied by the system” (sistem tarafından uygulanan kotaları) açıkça hariç tutar. Bkz. 429 hataları nasıl ele alınır.
  • Hız. Saniye başına token hedefi yalnızca ayrılmış (provisioned/reserved) katmanlarda vardır. Standart trafikte yavaş bir yanıt, başarılı bir yanıttır. Gecikme metrikleri açıklandı.
  • Kalite. Yanlış yanıt içeren bir 200 yanıtı hiçbir yerde kesinti sayılmaz.
  • Çok para. Krediler tek bir hizmetin aylık faturasının bir payıdır, çoğu zaman üst sınırlıdır ve kendi kayıtlarınızla talep etmeniz gerekir.

SLA’sı olmayan bir API üzerine nasıl inşa edersiniz?

Ekiplerin çoğu SLA’sı olmayan kullandıkça öde API’leri üzerine inşa eder. Uygulama hatayı bekliyorsa bu işe yarar:

  1. Zaman aşımı ayarlayın. Uzun yanıtları akışla alın ve istek başına bir istemci zaman aşımı belirleyin; böylece takılan bir çağrı hızlıca başarısız olur. Akış rehberi.
  2. 429 ve 5XX’te geri çekilme ve jitter ile yeniden deneyin, yeniden denemelere üst sınır koyun. Hatalar ve yeniden denemeler.
  3. İkinci bir sağlayıcıyı yapılandırılmış tutun. OpenAI uyumlu API’lerde yedek, ikinci bir temel URL, anahtar ve model kimliğidir. LLM API’leri arasında failover nasıl yapılır.
  4. İstek kimliklerini, zaman damgalarını ve durum kodlarını kaydedin. Her SLA talebi için ve gerçek hata oranınızı görmek için bunlara ihtiyacınız olur.
  5. Gerektiği yerde sözleşme satın alın. Çalışma süresi kesin bir gereksinimse, yazılı SLA’sı olan bir sağlayıcı katmanı ya da üzerinde anlaşılmış hizmet seviyeleri olan özel bir dağıtım kullanın. Özel uç noktadan önce neleri planlamalı.

BroadNet Inference nereye oturuyor

BroadRouter, BroadNet’in kendi web sitesidir. BroadNet’in self-servis API’sinin, kullandıkça öde de planlar da, SLA’sı yoktur. Hizmet Şartları (§7.4) şöyle der: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (BroadRouter çevirisi: API’yi erişilebilir tutmayı ve ölçtüklerimizi yayımlamayı amaçlıyoruz, ancak self-servis için erişilebilirlik taahhüdü yoktur.) Ve: “Service levels exist only in a separate written agreement.” (BroadRouter çevirisi: Hizmet seviyeleri yalnızca ayrı bir yazılı sözleşmede yer alır.) Bu noktada Azure, AWS ve Google daha fazlasını sunar: kredili, yazılı bir çalışma süresi hedefi. BroadNet kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 uçuştaki isteğe izin verir. BroadNet’in sunum altyapısını kendi anlatımı BroadNet’in GPU donanımı ve sunum yaklaşımı yazısındadır; bunu bir taahhüt olarak değil, BroadNet’in anlatımı olarak aktarıyoruz.

İş yükünüz yeniden denemeler ve bir yedekle çalışabiliyorsa, BroadNet’in OpenAI uyumlu uç noktası yapılandırılacak bir temel URL daha olur: https://inference.broadnet.ai/v1. Sözleşmeli hizmet seviyelerine ihtiyacınız varsa, bunlara güvenmeden önce BroadNet’e yazılı bir sözleşme hakkında sorun. API referansını okuyun ya da bir hesap oluşturun.

Sık sorulan sorular

Azure OpenAI SLA'sı nedir?

Azure OpenAI modelleri, Azure tarafından satılan Foundry Models'tir ve Microsoft bunların Azure SLA'ları kapsamında olduğunu söyler. Ekim 2026 birleştirilmiş SLA'sı Foundry Models için aylık çalışma süresi %99,9'un altında %10, %99'un altında %25 hizmet kredisi verir. Developer katmanı kapsam dışıdır. Provisioned Managed dağıtımları ve Priority Processing, %99 başarı oranının altında %10 kredili, saniye başına token cinsinden bir gecikme SLA'sı ekler.

OpenAI API'nin çalışma süresi SLA'sı var mı?

OpenAI, Scale Tier için %99,9 çalışma süresi SLA'sı ve bir gecikme SLA'sı yayımlar; bunu "available to Enterprise customers" (Enterprise müşterilerine açık) olarak tanımlar ve en az 30 günlük token birimleriyle satar. GPT-5.6 ve sonrası için Reserved Tier'ı gösterir. Standart kullandıkça öde API kullanımı için bir çalışma süresi SLA'sı bulamadık.

Amazon Bedrock SLA'sı nedir?

AWS, aylık çalışma süresi %99,9'un altına düşerse bölgenin Bedrock ücretlerinin %10'unu, %99,0'ın altında %25'ini ve %95,0'ın altında %100'ünü kredi olarak verir. Erişilebilirlik bölge başına 5 dakikalık aralıklarla ölçülür; hata, 500 hata kodu döndüren bir istektir.

Anthropic, Claude API için SLA sunuyor mu?

Herkese açık Commercial Terms belgesinde hayır. Bu şartlar hizmetleri "as is" ve "as available" (olduğu gibi ve erişilebildiği ölçüde) sunar ve kullanımın kesintisiz olacağını reddeder. Pazarlıkla yapılan kurumsal sözleşmeler herkese açık değildir; bu yüzden Anthropic'e sorun ya da Claude'u SLA'sı onu kapsayan bir bulut üzerinden kullanın.

%99,9 çalışma süresi ne kadar kesintiye izin verir?

30 günlük bir ayda yaklaşık 43 dakika: 43.200 dakikanın %0,1'i. %99,5, 216 dakikaya; %99 ise 432 dakikaya izin verir. Kesintinin nasıl ölçüldüğü yüzde kadar önemlidir.

BroadNet Inference'ın SLA'sı var mı?

Self-serviste yok. BroadNet'in şartları "self-serve has no availability commitment" (self-servis için erişilebilirlik taahhüdü yoktur) ve "Service levels exist only in a separate written agreement" (hizmet seviyeleri yalnızca ayrı bir yazılı sözleşmede yer alır) der; örneğin özel bir uç nokta için.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor

Kaynaklar