BroadRouter
Başlayın

LiteLLM'i BroadNet Inference'a yönlendirin (SDK ve proxy)

Güncellendi

LiteLLM'de BroadNet model kimliğinin başına openai/ ekleyin (openai/broadnet/glm-5.3 gibi), api_base değerini https://inference.broadnet.ai/v1, api_key değerini de BroadNet anahtarınız yapın. Proxy'de aynı değerleri config.yaml içinde litellm_params altına yazın ve modele kısa bir model_name verin.

LiteLLM, birçok LLM sağlayıcısına hem Python SDK hem de proxy sunucusu olarak tek bir arayüz sunar. Belgelerine göre OpenAI uyumlu bir API’ye ulaşmak için iki şey yaparsınız: model adının başına openai/ koyar ve api_base ayarlarsınız. BroadNet Inference bu rotayı kullanır.

1. Python SDK

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

openai/ rotayı seçer; LiteLLM, BroadNet’e broadnet/glm-5.3 değerini gönderir. Base URL’ye hiçbir şey eklemeyin; uç nokta yolunu LiteLLM’in OpenAI istemcisi ekler.

LiteLLM’in belgelerine göre openai rotası, her istekte bir API anahtarı gerektiren resmi OpenAI Python kütüphanesini kullanır. LiteLLM’in OpenAI için tanımlanmış bir OPENAI_API_KEY değerine hiç geri dönmemesi için api_key değerini yukarıdaki gibi açıkça verin. Yanıt OpenAI yapısında döner, bu yüzden kodunuzun geri kalanı değişmez.

Proxy ne zaman kullanılmalı

Tek bir Python uygulamasının içinde SDK yeterlidir. Proxy, birkaç uygulamanın ya da dilin aynı modellere ihtiyaç duyduğu durumlarda işe yarar: hepsi kısa model adlarıyla OpenAI tarzı tek bir uç noktayı çağırır; proxy ise BroadNet anahtarını tutar, hız sınırlarını uygular ve kullanımı kaydeder. Böylece uygulamalarınızın BroadNet’e özel hiçbir ayara ihtiyacı kalmaz.

2. Proxy sunucusu

Proxy eklentilerini kurun ve config.yaml dosyasını yazın:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Proxy’yi başlatın ve herhangi bir OpenAI uç noktası gibi çağırın:

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

(Koddaki yorum, curl komutunun ikinci bir terminalde çalıştırılacağını belirtir.) os.environ/BROADNET_API_KEY_GLM, LiteLLM’e o anahtarı ortamdan okumasını söyler. Her giriş kendi BroadNet kullandıkça öde anahtarını kullanır; bu yüzden LiteLLM’in isteğe bağlı, dağıtım (deployment) başına hız sınırı olan rpm: 30, her anahtarın sınırıyla eşleşir. Birkaç giriş tek bir anahtarı paylaşıyorsa o tek sınırı da paylaşırlar; sayıyı aralarında bölün. master_key, proxy’nin her çağrıda bir anahtar istemesini sağlar; LiteLLM’in belgelerine göre sk- ile başlamalıdır. Proxy’yi başlatmadan önce LITELLM_MASTER_KEY değişkenini export edin.

Hangi modeli seçmeli

model_name BroadNet modeli Kullanım
glm GLM 5.3 Araçlar, yapılandırılmış çıktı, 1M bağlam
deepseek-flash DeepSeek V4.1 Flash Uzun bağlam; sınırsız plan modeli
qwen Qwen3.8 27B Görseller, araçlar, Arapça
(gerekirse ekleyin) Gemma 4 VL 26B Düşük token başına fiyat; $5 krediyle çalışır

Fiyatlar fiyatlandırma sayfasında. Başka bir ağ geçidinden geçiyorsanız geçiş kontrol listesi neyi test etmeniz gerektiğini anlatır.

Sorun giderme

  • 401. BroadNet anahtarı yanlış, süresi dolmuş ya da kullandıkça öde kullanım hakkı tükenmiş. 401 proxy’nin kendisinden geliyorsa bunun yerine gönderdiğiniz LiteLLM anahtarını kontrol edin.
  • Not Found. api_base değerinin /v1 dahil https://inference.broadnet.ai/v1 olduğundan emin olun. Base URL doğruysa openai/ sonrasındaki model kimliğinin BroadNet’tekiyle birebir aynı olduğunu kontrol edin.
  • Yeni hesapta model reddedildi. GLM 5.3, Qwen3.8 27B ve DeepSeek V4.1 Flash önce bakiye yüklemesi gerektirir; $5 kredi yalnızca broadnet/gemma-4-26b-a4b modelini ve iki Transcribe modelini kapsar.
  • Boş içerik. Akıl yürütme max_tokens sınırına dahildir. Değeri artırın ya da reasoning_effort="low" gönderin. Yanıtlar neden boş geliyor.
  • 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 isteğe izin verir. LiteLLM’in rpm ayarı ilkine yardımcı olur; anahtar başına eşzamanlı çağıran sayısını 4 veya daha az tutun. Hatalar ve yeniden denemeler rehberine bakın.
  • Plan anahtarında paralel ajanlar. Bir plan oturumu aynı anda tek istek çalıştırır. Proxy üzerinden tek oturumda birkaç ajan çalıştırmak onları sıraya sokar; her paralel ajan için bir oturum satın alın.

Sık sorulan sorular

LiteLLM neden Not Found hatası döndürüyor?

LiteLLM'in belgeleri api_base değerinin /v1 ile bittiğinden emin olmanızı söyler. https://inference.broadnet.ai/v1 kullanın ve /chat/completions eklemeyin.

Model adı neden openai/broadnet/glm-5.3?

openai/ öneki LiteLLM'e OpenAI tarzı bir /chat/completions uç noktası çağırmasını söyler. LiteLLM rotayı seçmek için öneki kullanır ve geri kalanını, yani BroadNet model kimliği olan broadnet/glm-5.3'ü gönderir.

BroadNet sınırsız plan anahtarını paylaşılan bir LiteLLM proxy'sinin arkasına koyabilir miyim?

Plan anahtarları paylaşılamaz ve yeniden satılamaz; bir oturum da aynı anda tek istek çalıştırır. Bunları kendi ajanlarınız için kullanın. Ekip proxy'si için kullandıkça öde anahtarları kullanın.

LiteLLM'in BroadNet'i çağırmak için OPENAI_API_KEY'e ihtiyacı var mı?

openai rotası her istekte api_key'den ya da OPENAI_API_KEY'den gelen bir anahtar ister. LiteLLM'in BroadNet'e gerçek bir OpenAI anahtarı göndermemesi için BroadNet anahtarınızı api_key olarak, proxy'de ise os.environ/BROADNET_API_KEY olarak verin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor