LiteLLM, birçok LLM sağlayıcısına hem Python SDK hem de proxy sunucusu olarak tek bir arayüz sunar. Belgelerine göre OpenAI uyumlu bir API’ye ulaşmak için iki şey yaparsınız: model adının başına openai/ koyar ve api_base ayarlarsınız. BroadNet Inference bu rotayı kullanır.
1. Python SDK
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
openai/ rotayı seçer; LiteLLM, BroadNet’e broadnet/glm-5.3 değerini gönderir. Base URL’ye hiçbir şey eklemeyin; uç nokta yolunu LiteLLM’in OpenAI istemcisi ekler.
LiteLLM’in belgelerine göre openai rotası, her istekte bir API anahtarı gerektiren resmi OpenAI Python kütüphanesini kullanır. LiteLLM’in OpenAI için tanımlanmış bir OPENAI_API_KEY değerine hiç geri dönmemesi için api_key değerini yukarıdaki gibi açıkça verin. Yanıt OpenAI yapısında döner, bu yüzden kodunuzun geri kalanı değişmez.
Proxy ne zaman kullanılmalı
Tek bir Python uygulamasının içinde SDK yeterlidir. Proxy, birkaç uygulamanın ya da dilin aynı modellere ihtiyaç duyduğu durumlarda işe yarar: hepsi kısa model adlarıyla OpenAI tarzı tek bir uç noktayı çağırır; proxy ise BroadNet anahtarını tutar, hız sınırlarını uygular ve kullanımı kaydeder. Böylece uygulamalarınızın BroadNet’e özel hiçbir ayara ihtiyacı kalmaz.
2. Proxy sunucusu
Proxy eklentilerini kurun ve config.yaml dosyasını yazın:
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
Proxy’yi başlatın ve herhangi bir OpenAI uç noktası gibi çağırın:
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
(Koddaki yorum, curl komutunun ikinci bir terminalde çalıştırılacağını belirtir.) os.environ/BROADNET_API_KEY_GLM, LiteLLM’e o anahtarı ortamdan okumasını söyler. Her giriş kendi BroadNet kullandıkça öde anahtarını kullanır; bu yüzden LiteLLM’in isteğe bağlı, dağıtım (deployment) başına hız sınırı olan rpm: 30, her anahtarın sınırıyla eşleşir. Birkaç giriş tek bir anahtarı paylaşıyorsa o tek sınırı da paylaşırlar; sayıyı aralarında bölün. master_key, proxy’nin her çağrıda bir anahtar istemesini sağlar; LiteLLM’in belgelerine göre sk- ile başlamalıdır. Proxy’yi başlatmadan önce LITELLM_MASTER_KEY değişkenini export edin.
Hangi modeli seçmeli
| model_name | BroadNet modeli | Kullanım |
|---|---|---|
glm |
GLM 5.3 | Araçlar, yapılandırılmış çıktı, 1M bağlam |
deepseek-flash |
DeepSeek V4.1 Flash | Uzun bağlam; sınırsız plan modeli |
qwen |
Qwen3.8 27B | Görseller, araçlar, Arapça |
| (gerekirse ekleyin) | Gemma 4 VL 26B | Düşük token başına fiyat; $5 krediyle çalışır |
Fiyatlar fiyatlandırma sayfasında. Başka bir ağ geçidinden geçiyorsanız geçiş kontrol listesi neyi test etmeniz gerektiğini anlatır.
Sorun giderme
- 401. BroadNet anahtarı yanlış, süresi dolmuş ya da kullandıkça öde kullanım hakkı tükenmiş. 401 proxy’nin kendisinden geliyorsa bunun yerine gönderdiğiniz LiteLLM anahtarını kontrol edin.
- Not Found.
api_basedeğerinin/v1dahilhttps://inference.broadnet.ai/v1olduğundan emin olun. Base URL doğruysaopenai/sonrasındaki model kimliğinin BroadNet’tekiyle birebir aynı olduğunu kontrol edin. - Yeni hesapta model reddedildi. GLM 5.3, Qwen3.8 27B ve DeepSeek V4.1 Flash önce bakiye yüklemesi gerektirir; $5 kredi yalnızca
broadnet/gemma-4-26b-a4bmodelini ve iki Transcribe modelini kapsar. - Boş içerik. Akıl yürütme
max_tokenssınırına dahildir. Değeri artırın ya dareasoning_effort="low"gönderin. Yanıtlar neden boş geliyor. - 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 isteğe izin verir. LiteLLM’in
rpmayarı ilkine yardımcı olur; anahtar başına eşzamanlı çağıran sayısını 4 veya daha az tutun. Hatalar ve yeniden denemeler rehberine bakın. - Plan anahtarında paralel ajanlar. Bir plan oturumu aynı anda tek istek çalıştırır. Proxy üzerinden tek oturumda birkaç ajan çalıştırmak onları sıraya sokar; her paralel ajan için bir oturum satın alın.
