BroadRouter

LLM API sağlayıcısı nasıl seçilir: 20 maddelik kontrol listesi

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı · Güncellendi

Bir LLM API sağlayıcısını altı alanda puanlayarak seçin: gerçek iş yükünüzün toplam maliyeti, hız ve eşzamanlılık sınırları, OpenAI uyumluluğu, veri saklama ve eğitim koşulları, ihtiyacınız olan modeller ve bağlam boyutları, destek ve güvenilirlik. Karar vermeden önce kendi trafiğinizle bir haftalık test yapın. Tek başına token başına fiyat kötü bir rehberdir.

A chess knight and queen on a board, with the text "The right model. For the next move."

Bir LLM API sağlayıcısı seçmek için her adayı altı alanda puanlayın: gerçek iş yükünüzün aylık maliyeti, hız ve eşzamanlılık sınırları, OpenAI uyumluluğu, veri saklama ve eğitim koşulları, ihtiyacınız olan modeller, destek ve güvenilirlik. Ardından ilk ikiyi bir haftalık gerçek trafikle test edin. Aşağıda: 20 soru, bir puanlama tablosu ve test planı.

Seçiminizi yaptıktan sonra geçişin kendisi için geçiş kontrol listesine, kalite testinin ayrıntıları için de geçiş yapmadan önce bir LLM nasıl değerlendirilir yazısına bakın.

Gerçekte ne kadara mal olacak? (1–4. sorular)

  1. Gerçek iş yüküm aylık ne kadar tutuyor? Girdiyi, önbellekli girdiyi ve çıktıyı ayrı ayrı fiyatlayın; ücretsiz LLM API maliyet hesaplayıcı bunu model başına yapar. Ajanlar aynı bağlamı tekrar tekrar gönderir; bu yüzden önbellekli girdi çoğu zaman faturanın büyük kısmını oluşturur. Fiyatlandırma rehberimiz her kalemi tek tek anlatıyor.
  2. Akıl yürütme token’ları çıktı olarak mı faturalandırılıyor? Akıl yürütme modelleri düşünmeye, yanıt vermekten daha fazla token harcayabilir.
  3. Sabit fiyatlı bir seçenek var mı? Sürekli çalışan ajanlar için sabit bir plan token başına faturalandırmadan daha avantajlı olabilir. Bkz. başa baş hesabı.
  4. Fiyatlar makine tarafından okunabilir ve tarihli mi? JSON bir fiyat dosyası, değişiklikleri izlemenizi ve maliyet uyarıları kurmanızı sağlar.

Açık veri setimiz LLM API ücretsiz katmanları ve hız sınırları, 14 sağlayıcının ücretsiz erişim, başlangıç hız sınırları, kart zorunluluğu ve ücretsiz katman verileriyle eğitim hakkında yayımladıklarını, her değer için kaynak ve tarihle karşılaştırıyor.

İlk hangi sınırlara takılırsınız? (5–7. sorular)

  1. Dakika başına istek ve eşzamanlılık sınırları ne? Paralel ajanları ve toplu işleri durduran şey eşzamanlılıktır (uçuştaki istek sayısı). Bkz. hız sınırları ve eşzamanlılık; trafiğinizi bir sınıra göre hız sınırı hesaplayıcı ile boyutlandırın.
  2. Token tavanı, kayan pencere veya haftalık kota var mı? “Sınırsız” planlarda çoğu zaman vardır. Sınırsız gerçekte ne demek yazısını okuyun.
  3. Bağlam penceresi ne kadar ve kırpılıyor mu? İstek başına gerçek azami değeri ve sağlayıcının uzun istemleri sessizce kesip kesmediğini kontrol edin.

Kodunuzla ne kadar uyumlu? (8–10. sorular)

  1. OpenAI uyumlu mu ve ne ölçüde? Bir temel URL değişikliği yetmeli. Sonra kullanım verisiyle akışı (streaming), araç çağrılarını, yapılandırılmış çıktıyı ve hata kodlarını test edin. Geçiş kontrol listesi neyin bozulduğunu listeliyor.
  2. Araçlarımla çalışıyor mu? SDK’lar, ajan çatıları, IDE asistanları. Sağlayıcının entegrasyon rehberlerine bakın.
  3. Model kimlikleri kalıcı mı? Sürümlü kimlikler ve bir model kullanımdan kaldırılmadan önce bildirim istersiniz.

Verilerinize ne oluyor? (11–13. sorular)

  1. İstemler ve çıktılar saklanıyor mu, ne kadar süreyle? Birçok sağlayıcı API içeriğini varsayılan olarak 30 güne kadar saklar. Resmî ifadeleri LLM API veri saklama karşılaştırması yazısında karşılaştırın.
  2. Verilerim eğitim için kullanılıyor mu? Katmanınızdaki varsayılanı yazılı olarak kontrol edin.
  3. DPA imzalayabilir, alt işleyicileri görebilir ve anahtarları kısıtlayabilir miyim? AB’deki kişisel verileri işliyorsanız GDPR kontrol listesini kullanın ve IP izin listeleri isteyin.

İhtiyacınız olan modeller var mı? (14–16. sorular)

  1. Sağlayıcıda ihtiyacım olan model boyutları ve yetenekler var mı? Görü (vision), araç çağırma, akıl yürütme, uzun bağlam, konuşma.
  2. Her model benim görevlerimde nasıl performans gösteriyor? 30 ile 50 arası gerçek test vakası oluşturun ve puanlayın. Kıyaslamalar (benchmark) ilk elemedir; LLM’ler nerede karşılaştırılır yazısı sıralama tablolarını ve her birinin neyi ölçtüğünü listeliyor. Değerlendirme rehberi, seti nasıl oluşturacağınızı ve hakem yanlılığından nasıl kaçınacağınızı gösteriyor.
  3. Açık ağırlıklı mı, kapalı mı? Açık ağırlıklı modelleri birkaç sağlayıcı barındırabilir; bu da bağımlılığı azaltır. Bkz. açık ağırlıklı ve kapalı modeller.

Ayakta kalacak mı, kim yanıt verecek? (17–20. sorular)

  1. Bir durum sayfası ve olay geçmişi var mı?
  2. Üretim için yazılı bir SLA var mı?
  3. GPU’ları kim çalıştırıyor? Kendi donanımı mı, bir bulut mu, yoksa başka bir API’den yeniden satılan kapasite mi? Her biri veri ve güvenilirlik zincirine bir taraf daha ekler.
  4. Bir insana nasıl ulaşırım? Yanıt süreleri, kanallar ve desteğin istek içeriğinizi görüp göremediği.

Sağlayıcıları birbirine karşı nasıl puanlarsınız?

Her soruyu 0 (hayır veya bilinmiyor), 1 (kısmen) ya da 2 (evet, yazılı olarak) ile puanlayın. Grupları kullanım senaryonuza göre ağırlıklandırın:

Grup Sorular Ajan için ağırlık Regüle bir uygulama için ağırlık
Fiyatlandırma 1–4 Yüksek Orta
Sınırlar 5–7 Yüksek Orta
Uyumluluk 8–10 Orta Orta
Gizlilik 11–13 Orta Yüksek
Modeller 14–16 Yüksek Yüksek
Destek ve güvenilirlik 17–20 Orta Yüksek

“Bilinmiyor”un 0 alması bilinçli: bir sağlayıcı yanıt veremiyorsa ona güvenemezsiniz.

Bir sağlayıcıyı bir haftada nasıl test edersiniz?

  1. Puanlama tablosundan en iyi iki sağlayıcıyı seçin.
  2. Gerçek trafiğin bir kısmını, model kimlikleri ve temel URL’ler yapılandırmada olacak şekilde aynı OpenAI SDK’sı üzerinden her birine yönlendirin.
  3. İstek başına kaydedin: model, istem token’ları, önbellekli token’lar, tamamlama token’ları, gecikme, durum kodu. İçeriği asla kaydetmeyin.
  4. Zirve yükünüzü tetikleyin: toplu işinizi veya paralel ajanlarınızı çalıştırın ve 429’ları izleyin. Hatalar ve yeniden denemeler rehberi doğru geri çekilmeyi (back-off) gösteriyor.
  5. Haftanın token’larını yaklaşık 4,3 ile çarpın ve her sağlayıcı için ayı fiyatlayın.
  6. Çıktıları test setiniz üzerinde puanlayın.

BroadNet Inference kontrol listesini nasıl yanıtlıyor?

# BroadNet Inference
1, 4 Token başına fiyatlar pricing.json dosyasında yayımlanıyor, son eşitleme 2026-11-14
3 DeepSeek V4.1 Flash için sabit planlar: oturum başına ayda $60, haftada $15 veya saatte $1
5 Kullandıkça öde: dakikada 30 istek, uçuşta 4 istek; plan oturumları aynı anda bir istek çalıştırır
6 Planlar: token sayacı yok, kayan pencere yok, haftalık tavan yok
7 DeepSeek V4.1 Flash ve GLM 5.3’te 1.048.576 token’a kadar; plan sayfası bağlamın asla kırpılmadığını söylüyor
8 https://inference.broadnet.ai/v1 adresinde OpenAI uyumlu
11, 12 İstem veya çıktı saklanmıyor; model eğitmek, ince ayar yapmak veya değerlendirmek için kullanılmıyor
13 32 kayda kadar IP izin listesi; talep üzerine alt işleyici listesi; DPA isteyin
14 Dört sohbet modeli ve iki konuşmadan metne modeli
19 BroadNet’in gizlilik beyanına göre kendi modelleri ve barındırdığı açık ağırlıklı modeller ABD’de BroadNet’e ait veya kiralık donanımda çalışıyor, yedek olarak iş ortağı kapasitesi var; DeepSeek V4.1 Flash gibi iş ortaklarınca sunulan modeller, ZDR koşullarıyla ABD’deki çıkarım iş ortaklarında çalışır

BroadNet’in dokümantasyonunda veya plan sayfalarında bulamadıklarımız (14 Kasım 2026’da kontrol edildi): SLA, durum sayfası ve model kullanımdan kaldırma politikası. Sizin için önemliyse bunları isteyin ve kritik akışlar için ikinci bir sağlayıcı tutun. Katalog, bir toplayıcınınkinden (aggregator) de küçük: GPT, Claude veya Gemini modellerine ihtiyacınız varsa o trafik için sağlayıcı BroadNet değil. $5 başlangıç kredisi, hafif bir iş yükünde test planının 3. adımı için yeterli, ama kapsadığı sohbet modelleri arasında yalnızca Gemma 4 VL 26B’de (iki Transcribe modelini de kapsar); diğer sohbet modelleri bakiye yükleme gerektiriyor.

Sık sorulan sorular

Bir LLM API sağlayıcısında nelere bakmalıyım?

İş yükünüzün toplam maliyeti, hız ve eşzamanlılık sınırları, OpenAI uyumluluğu, veri saklama ve eğitim koşulları, ihtiyacınız olan modeller ve bağlam boyutları, destek ve güvenilirlik. Her birini puanlayın, sonra gerçek trafikle test edin.

En ucuz LLM API en iyi seçim mi?

Her zaman değil. Önbellekli girdi fiyatları, akıl yürütme token'ları, hız sınırlarının yol açtığı yeniden denemeler ve eksik özelliklerin etrafından dolaşmak için harcanan mühendislik zamanı, daha düşük bir liste fiyatından ağır basabilir. Gerçek iş yükünüzün aylık faturasını karşılaştırın.

Bir LLM API'de sağlayıcıya bağımlılıktan nasıl kaçınırım?

OpenAI uyumlu bir API'yi standart bir SDK üzerinden kullanın, model kimliklerini ve temel URL'leri yapılandırmada tutun, ana akışınızda yalnızca bir sağlayıcıya özgü özelliklerden kaçının ve test edilmiş ikinci bir sağlayıcı tutun.

Bir LLM API'yi karar vermeden önce ne kadar test etmeliyim?

Yaklaşık bir haftalık gerçek trafik; token kullanımını, önbellek isabet oranını, gecikmeyi, hata oranlarını ve hız sınırı davranışını görmeye yeter. Aylık tahmin için haftayı yaklaşık 4,3 ile çarpın.

Bir LLM API sağlayıcısı ne kadar erişilebilirlik (uptime) sunmalı?

Yayımlanmış bir durum sayfası, olay geçmişi ve üretim kullanımı için yazılı bir SLA isteyin. Sağlayıcıda bunların hiçbiri yoksa kritik akışlarınız için bir yedek sağlayıcı planlayın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor