BroadRouter

LLM barındırmak mı, API mi: gerçek maliyet ve başa baş noktası

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı · Güncellendi

Kiralık bir GPU meşgul de olsa boşta da olsa saat başına aynı ücreti alır; bu yüzden kendi sunucunuzda barındırmak bir API'yi yalnızca yüksek ve istikrarlı kullanımda geçer. Saatlik fiyatı sunucunun saatte gerçekten ürettiği token'lara bölün, mühendislik ve nöbet süresini ekleyin ve 1M token başına API fiyatıyla karşılaştırın. Dalgalı veya orta düzey trafikte API neredeyse her zaman kazanır.

“Kendimiz çalıştırsak para tasarrufu ederiz”, LLM maliyet planlamasındaki en yaygın iddialardan biridir ve en az kontrol edilenlerden biri. Hesap zor değil. İnsanların yanlış tahmin ettiği bir değişkeni (kullanım oranı) ve unuttukları bir maliyeti (insanlar) var. Bu yazı formülü, gerçek kiralama fiyatlarını ve hesabı kendi sayılarınızla yapmanın bir yolunu veriyor.

GPU kiralamanın şu anki maliyeti ne kadar?

Resmî fiyat sayfalarından 2026-11-14 (RunPod) ve 2026-11-16 (Lambda) tarihlerinde alınan saatlik fiyatlar. Burada bir ay 730 saattir.

GPU Sağlayıcı ve katman (2026-11-14 tarihinde kontrol edildi) GPU-saat başına Aylık, sürekli açık
H100 SXM RunPod Secure Cloud USD 4,39 yaklaşık USD 3.205
H100 SXM RunPod Community Cloud USD 2,69 yaklaşık USD 1.964
H100 PCIe RunPod Secure Cloud USD 2,89 yaklaşık USD 2.110
H200 RunPod Secure Cloud USD 5,29 yaklaşık USD 3.862
A100 80GB SXM RunPod Secure Cloud USD 2,19 yaklaşık USD 1.599
L40S RunPod Secure Cloud USD 1,09 yaklaşık USD 796
H100 SXM Lambda isteğe bağlı, 1 ila 8 GPU (2026-11-16’dan itibaren geçerli; 2026-11-16’da kontrol edildi) USD 4,59 ila 4,89 yaklaşık USD 3.351 ila 3.570

Lambda’nın sayfasına göre (2026-11-16’da kontrol edildi) bu fiyatlar 2026-11-16 günü 00:00 UTC’de geçerli oldu; GPU başına ücret düğüm büyüdükçe düşer ve 8 GPU’lu bir düğümde USD 4,59’a iner. RunPod’un Community Cloud ücretleri, sunucuya göre değişen “başlangıç” fiyatlarıdır. Secure Cloud ve Community Cloud farklı barındırma katmanlarıdır; veri işleme kurallarınız varsa katman koşullarını okuyun. Pek çok model birden fazla GPU gerektirir: Secure Cloud ücretiyle 8 GPU’lu bir H100 düğümü ayda yaklaşık USD 25.638 tutar.

Kendi sunucunuzda milyon token başına maliyet nasıl hesaplanır?

Bir GPU, toplu işlediği tüm istekler genelinde belirli bir toplam hızda token üretir. Token başına maliyetiniz, saatlik fiyatın GPU’nun gerçekte ürettiği token’lara yayılmasıdır:

1M token başına maliyet = saatlik fiyat ÷ (toplam saniye başına token × 3.600 ÷ 1.000.000) ÷ kullanım oranı

Kullanım oranı, GPU’nun o hızda yararlı iş yaptığı saatlerin payıdır. Varsayılan sayılarla hesaplanmış bir örnek (bir benchmark değildir: kendi modelinizi ölçün):

  • GPU: Community Cloud’da tek bir H100 SXM, saatte USD 2,69.
  • Varsayılan toplam çıktı: iyi bir toplu işlemeyle saniyede 1.500 token.
  • Tam yükte saatte token: 1.500 × 3.600 = 5,4 milyon.
Kullanım oranı Saatte etkin token 1M çıktı token’ı başına maliyet
%100 (sürekli dolu) 5,4M USD 0,50
%50 2,7M USD 1,00
%25 (yalnızca mesai saatlerinde yoğun) 1,35M USD 1,99
%10 (dalgalı ürün trafiği) 0,54M USD 4,98

Şimdi bunu 1M çıktı token’ı başına bir API fiyatıyla karşılaştırın. LLM API fiyat tablosu, aynı açık ağırlıklar için onlarca sağlayıcının ne aldığını gösteriyor; BroadNet Inference’ta DeepSeek V4.1 Flash 1M çıktı token’ı başına $0.52, Gemma 4 VL 26B ise $0.22 tutuyor. Kendi sunucunuzdaki maliyetin API fiyatının altına düştüğü satırı bulun: başa baş kullanım oranınız odur. Örnek, girdi token’larını yok sayıyor; oysa onlar da GPU süresi harcar (prefill). Yani gerçek barındırma maliyeti tabloda görünenden yüksektir.

Başa baş için ayda kaç token gerekir?

Hesabı tersine çevirin. Açık bırakılan bir GPU her durumda aylık fiyatına mal olur. API ise token × fiyat kadar tutar. Başa baş hacmi:

başa baş için aylık token = aylık GPU maliyeti ÷ 1M token başına API fiyatı × 1.000.000

Tek bir Community Cloud H100 (ayda yaklaşık USD 1.964) ile 1M çıktı token’ı başına $0.52 fiyatını karşılaştırmak için 1.964’ü bu fiyata bölün; GPU’nun kendini amorti etmesi için ayda kaç milyon çıktı token’ının yerini alması gerektiğini bulursunuz. İş yükünüz ajanlarda genellikle olduğu gibi girdi ağırlıklıysa aynı hesabı girdi ve çıktının karma fiyatıyla yapın; ikisinin nasıl karıştırılacağını sabit fiyat ile token başına ödeme yazısı gösteriyor.

Üstelik o GPU’nun modeli gerçekten sunabilmesi gerekir. Model dört GPU gerektiriyorsa bölmeden önce aylık maliyeti dörtle çarpın.

İnsanlar hangi maliyetleri unutuyor?

Maliyet Neyi kapsar Nasıl hesaplanır
Mühendislik kurulumu Sunum motoru, kuantizasyon seçimi, otomatik ölçekleme, yük testleri Tek seferlik saat × ücretiniz
Süregelen operasyon Güncellemeler, sürücü ve motor güncellemeleri, model yenilemeleri Aylık saat × ücretiniz
Nöbet Düğüm çöktüğünde birinin uyanması Nöbet politikanız
Yedeklilik Tek bir arıza kesintiye dönüşmesin diye ikinci bir düğüm GPU kalemini ikiye katlar
Boşta yedek kapasite Tepe yükler için sıcak tutmanız gereken kapasite Kullanım oranını düşürür
Değerlendirme Geçiş yapmadan önce yeni bir model sürümünü kontrol etme Sürüm başına saat

Cevabı en çok değiştiren yedekliliktir. Tek bir GPU tek bir arıza noktasıdır. İki GPU ise kullanım oranınızı bir gecede yarıya indirir. Her güncellemenin getirdiği değerlendirme işi için geçişten önce bir modeli değerlendirme yazısına bakın.

Kendi sunucunda barındırmak ne zaman doğru karar?

  • İstikrarlı, yüksek hacim. GPU’ları gece gündüz dolu tutan toplu iş hatları.
  • Veriler ağınızın içinde kalmalı. Bu bir maliyet argümanı değil, kesin bir gereksinimdir. Önce sıfır veri saklamalı bir API’nin kurallarınızı karşılayıp karşılamadığını kontrol edin.
  • Hiçbir API’nin sunmadığı bir model. Kendi ince ayarınız veya niş bir açık ağırlıklı model.
  • Garantili kapasite. Bir API’nin hız sınırlarının vermeyeceği işlem hacmine ihtiyacınız var.

Geri kalan her durumda, özellikle dalgalı trafikte, erken aşamadaki ürünlerde ve ani yüklerle çalışan ajanlarda API daha ucuzdur ve nöbet çizelgesi gerektirmez.

GPU ile token başına faturalandırma arasında sabit fiyatlı seçenekler var mı?

GPU kiralamak ile token başına ödemek arasında bir orta yol var. BroadNet, Gemma 4 VL 26B için saati $0.50 olan bir saatlik anahtar satıyor (tek akış, dakikada 120 istek, dakikada 300,000 token); bütün ay çalıştırırsanız bu $360.00 eder. Ayrıca DeepSeek V4.1 Flash için ayda $60 fiyatlı sınırsız plan oturumları satıyor; her oturum aynı anda tek isteği saniyede yaklaşık 100 token hızında çalıştırıyor. Bunlar kiralık bir GPU gibi öngörülebilir bir fatura verir, kurulum ve operasyon gerektirmez; ancak bütün bir GPU’nun toplu işleme kapasitesi yerine anahtar veya oturum başına sabit bir eşzamanlılık sunar.

BroadNet Inference nereye uyuyor?

BroadNet Inference bu karşılaştırmanın API tarafıdır: bir kısmı ABD’li çıkarım ortaklarınca barındırılan açık ağırlıklı modeller için token başına fiyatlar, sabit fiyatlı planlar ve saatlik anahtarlar; hepsi OpenAI uyumlu bir API arkasında. Trafiği kiralık bir GPU’yu günün büyük kısmında boşta bırakacak ya da çıkarım altyapısı işletmek istemeyen ekiplere uyar. Özel bir ince ayarın sunulmasına, şirket içi (on-premises) kuruluma veya tek anahtarda yüzlerce paralel isteğe ihtiyacınız varsa uymaz. Sayılarınızı LLM API maliyet hesaplayıcısında çalıştırın ve yukarıdaki tabloyla karşılaştırın. Hâlâ açık ve kapalı modeller arasında seçim yapıyorsanız açık ağırlıklı ve kapalı model API maliyeti yazısı, token başına fiyatları her sağlayıcının kendi sayfasından karşılaştırıyor. Kendi sunucunda barındırma ve API hesaplayıcısı, ölçtüğünüz işlem hacmi ve bu GPU fiyatlarıyla başa baş hesabının tamamını yapıyor.

Sık sorulan sorular

LLM'i kendi sunucumda barındırmak API kullanmaktan daha mı ucuz?

Yalnızca yüksek ve istikrarlı hacimde. Kiralık bir GPU her saati faturalandırır; API ise yalnızca kullandığınız token'ları. GPU'nuz günün büyük kısmında boşta kalacaksa, mühendislik süresini hesaba katmadan bile API daha ucuzdur.

H100 kiralamanın saatlik maliyeti ne kadar?

RunPod'un fiyat sayfasında 2026-11-14 tarihinde H100 SXM, Secure Cloud'da saatte USD 4,39, Community Cloud'da USD 2,69'dan başlayan fiyatlarla listeleniyordu. Lambda, 2026-11-16'dan itibaren geçerli fiyatlarla isteğe bağlı H100 SXM'i düğüm boyutuna göre GPU-saat başına USD 4,59 ile 4,89 arasında listeliyor. Güncel ücretler için sayfaları kontrol edin.

Büyük bir modeli kendim barındırmak için kaç GPU gerekir?

En azından ağırlıklara ve eşzamanlı istekleriniz için KV önbelleğine yetecek kadar bellek. Büyük mixture-of-experts modelleri genellikle çok GPU'lu bir düğüm gerektirir. Parametre sayısı ve önerilen kurulum için model kartına bakın.

Daha pahalı olsa bile kendi sunucunda barındırmak ne zaman mantıklı?

Veriler ağınızdan çıkamıyorsa, hiçbir API'nin sunmadığı ince ayarlı veya özel bir modele ihtiyacınız varsa ya da garantili kapasite gerekiyorsa. Bunlar maliyet değil, kontrol gerekçeleridir.

GPU'mun gerçek işlem hacmini nasıl ölçerim?

Gerçek istemlerinizi gerçek eşzamanlılığınızla vLLM veya SGLang gibi bir sunum motorunda çalıştırın ve tüm istekler genelinde saniye başına toplam çıktı token'ını kaydedin. Üreticilerin tepe değerleri ideal toplu işlemeyi (batching) varsayar.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor