Açık ağırlıklı bir model yayımlandığında onu yine de birinin çalıştırması gerekir. Çıkarım sağlayıcıları bu işi yapan şirketlerdir.
Nasıl çalışır
Bir sağlayıcı model ağırlıklarını GPU’lara yükler, istekleri gruplayan ve belleği yöneten sunum yazılımını çalıştırır ve önüne bir API koyar. Çoğu bir OpenAI uyumlu API sunar; bu yüzden sağlayıcı değiştirmek için base URL’yi, anahtarı ve model kimliğini değiştirirsiniz.
Terim birkaç iş modelini kapsar:
- Kendi modellerini sunan model laboratuvarları.
- Birçok laboratuvarın açık ağırlıklı modellerini sunan bağımsız barındırıcılar.
- Bazen GPU saati başına faturalandırılan, GPU veya yönetilen uç nokta kiralayan bulutlar.
- Toplayıcılar. Hugging Face’in Inference Providers hizmeti, tek bir token ile “hundreds of machine learning models, powered by world-class inference providers” (çeviri: dünya standartlarında çıkarım sağlayıcılarıyla çalışan yüzlerce makine öğrenimi modeli) erişimi sunar. Bir LLM yönlendiricisi de aynı şekilde çalışır.
API yapısı ortak olduğu için aynı kod hepsinde çalışır. Yalnızca üç değer değişir (koddaki yorumlar: sağlayıcı, onun anahtarı, onun model kimliği):
import os
from openai import OpenAI
msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
base_url="https://inference.broadnet.ai/v1", # the provider
api_key=os.environ["BROADNET_API_KEY"], # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs) # its model ID
Fiyatlandırma da farklılaşır: token başına, ses dakikası başına, saat başına veya oturum başına sabit.
Neden önemli
Sağlayıcı seçmek, büyük ölçüde model adında göremediğiniz ödünleşimleri seçmektir:
- Veri işleme. Saklama, loglama ve eğitimde kullanım farklılık gösterir. Yazılı bir sıfır veri saklama politikası arayın.
- Nerede çalıştığı. Bölge ve alt işleyiciler uyumluluk açısından önemlidir.
- Sınırlar. Eşzamanlılık, hız sınırları ve bağlam uzunluğu modelin azami değerinden düşük olabilir.
- Sunum tercihleri. Hassasiyet ve sunum ayarları hızı, bazen de çıktıyı etkiler.
- Fiyat yapısı. Doğru yapı trafiğinize bağlıdır; bkz. sağlayıcı fiyat karşılaştırması.
- Fiyat düzeyi. Aynı açık model bir sağlayıcıda diğerine göre birkaç kat daha pahalı olabilir. Bkz. aynı model, farklı barındırıcı.
BroadNet Inference’ta
BroadNet Inference bir çıkarım sağlayıcısıdır. Gizlilik bildirimi, kendi modellerinin ve barındırdığı açık ağırlıklı modellerin “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (çeviri: yedek olarak iş ortağı kapasitesiyle birlikte ABD’deki BroadNet’e ait veya kiralık donanımda çalıştığını) ve iş ortaklarınca sunulan modellerin ABD’li çıkarım ortaklarıyla sıfır veri saklama şartları altında çalıştığını söyler. İstek ve yanıt içeriği saklanmaz.
https://inference.broadnet.ai/v1 adresindeki OpenAI uyumlu bir API üzerinden DeepSeek V4.1 Flash ve GLM 5.3 dahil sohbet modelleri ile iki konuşmadan metne modeli sunar. Faturalandırma; token veya ses dakikası başına kullandıkça öde, saatlik anahtar ya da DeepSeek V4.1 Flash için sabit fiyatlı planlar şeklindedir. Onu kendi kriterlerinize göre diğerleriyle karşılaştırmak için sağlayıcı kontrol listesini kullanın.