BroadRouter
Başlayın

Çıkarım sağlayıcısı (inference provider)

Güncellendi

Çıkarım sağlayıcısı, makine öğrenimi modellerini, çoğu zaman açık ağırlıklı LLM'leri, sahip olduğu, uzun süreli kiraladığı veya saatlik kiraladığı GPU'larda çalıştıran ve bunlara genellikle token, istek veya zaman birimi başına fiyatlandırılan bir API üzerinden erişim satan şirkettir. Sunumu, ölçeklemeyi ve donanımı o üstlenir.

Diğer adları: çıkarım sağlayıcısı, LLM sağlayıcısı, LLM API sağlayıcısı, model barındırma sağlayıcısı, inference provider, LLM inference provider, LLM API provider, model hosting provider, AI inference provider

Açık ağırlıklı bir model yayımlandığında onu yine de birinin çalıştırması gerekir. Çıkarım sağlayıcıları bu işi yapan şirketlerdir.

Nasıl çalışır

Bir sağlayıcı model ağırlıklarını GPU’lara yükler, istekleri gruplayan ve belleği yöneten sunum yazılımını çalıştırır ve önüne bir API koyar. Çoğu bir OpenAI uyumlu API sunar; bu yüzden sağlayıcı değiştirmek için base URL’yi, anahtarı ve model kimliğini değiştirirsiniz.

Terim birkaç iş modelini kapsar:

  • Kendi modellerini sunan model laboratuvarları.
  • Birçok laboratuvarın açık ağırlıklı modellerini sunan bağımsız barındırıcılar.
  • Bazen GPU saati başına faturalandırılan, GPU veya yönetilen uç nokta kiralayan bulutlar.
  • Toplayıcılar. Hugging Face’in Inference Providers hizmeti, tek bir token ile “hundreds of machine learning models, powered by world-class inference providers” (çeviri: dünya standartlarında çıkarım sağlayıcılarıyla çalışan yüzlerce makine öğrenimi modeli) erişimi sunar. Bir LLM yönlendiricisi de aynı şekilde çalışır.

API yapısı ortak olduğu için aynı kod hepsinde çalışır. Yalnızca üç değer değişir (koddaki yorumlar: sağlayıcı, onun anahtarı, onun model kimliği):

import os
from openai import OpenAI

msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",          # the provider
    api_key=os.environ["BROADNET_API_KEY"],  # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs)  # its model ID

Fiyatlandırma da farklılaşır: token başına, ses dakikası başına, saat başına veya oturum başına sabit.

Neden önemli

Sağlayıcı seçmek, büyük ölçüde model adında göremediğiniz ödünleşimleri seçmektir:

  • Veri işleme. Saklama, loglama ve eğitimde kullanım farklılık gösterir. Yazılı bir sıfır veri saklama politikası arayın.
  • Nerede çalıştığı. Bölge ve alt işleyiciler uyumluluk açısından önemlidir.
  • Sınırlar. Eşzamanlılık, hız sınırları ve bağlam uzunluğu modelin azami değerinden düşük olabilir.
  • Sunum tercihleri. Hassasiyet ve sunum ayarları hızı, bazen de çıktıyı etkiler.
  • Fiyat yapısı. Doğru yapı trafiğinize bağlıdır; bkz. sağlayıcı fiyat karşılaştırması.
  • Fiyat düzeyi. Aynı açık model bir sağlayıcıda diğerine göre birkaç kat daha pahalı olabilir. Bkz. aynı model, farklı barındırıcı.

BroadNet Inference’ta

BroadNet Inference bir çıkarım sağlayıcısıdır. Gizlilik bildirimi, kendi modellerinin ve barındırdığı açık ağırlıklı modellerin “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (çeviri: yedek olarak iş ortağı kapasitesiyle birlikte ABD’deki BroadNet’e ait veya kiralık donanımda çalıştığını) ve iş ortaklarınca sunulan modellerin ABD’li çıkarım ortaklarıyla sıfır veri saklama şartları altında çalıştığını söyler. İstek ve yanıt içeriği saklanmaz.

https://inference.broadnet.ai/v1 adresindeki OpenAI uyumlu bir API üzerinden DeepSeek V4.1 Flash ve GLM 5.3 dahil sohbet modelleri ile iki konuşmadan metne modeli sunar. Faturalandırma; token veya ses dakikası başına kullandıkça öde, saatlik anahtar ya da DeepSeek V4.1 Flash için sabit fiyatlı planlar şeklindedir. Onu kendi kriterlerinize göre diğerleriyle karşılaştırmak için sağlayıcı kontrol listesini kullanın.

Sık sorulan sorular

Çıkarım sağlayıcısı ile LLM yönlendiricisi arasındaki fark nedir?

Sağlayıcı, modelleri sahip olduğu, uzun süreli veya saatlik kiraladığı donanımda kendisi çalıştırır. Yönlendirici ise isteğinizi tek bir API ve tek bir fatura üzerinden birkaç sağlayıcıdan birine iletir. Bazı şirketler ikisini de yapar.

Aynı açık modeli sunan iki sağlayıcı aynı yanıtları verir mi?

Her zaman değil. Hassasiyet (precision), bağlam sınırları, varsayılan ayarlar ve sunum yazılımı farklı olabilir; bu yüzden çıktılar da farklılaşabilir. Geçmeden önce kendi istemleriniz üzerinde test edin.

Çıkarım sağlayıcısını nasıl değiştiririm?

OpenAI uyumlu bir API'de üç değeri değiştirin: base URL, API anahtarı ve model kimliği. Ardından değerlendirmenizi (eval) yeniden çalıştırın, çünkü aynı model başka bir sağlayıcıda farklı davranabilir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor