LiteLLM bietet eine einheitliche Schnittstelle zu vielen LLM-Anbietern, als Python SDK und als Proxy-Server. Für eine OpenAI-kompatible API sind laut Dokumentation zwei Dinge nötig: openai/ vor den Modellnamen setzen und api_base setzen. BroadNet Inference nutzt genau diese Route.
1. Python SDK
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
openai/ wählt die Route; LiteLLM sendet broadnet/glm-5.3 an BroadNet. Hängen Sie nichts an die Base URL an; der OpenAI-Client von LiteLLM ergänzt den Endpoint-Pfad selbst.
Laut LiteLLM-Dokumentation nutzt die Route openai die offizielle OpenAI-Python-Bibliothek, und die braucht bei jeder Anfrage einen API-Schlüssel. Übergeben Sie api_key wie oben ausdrücklich, damit LiteLLM nie auf einen OPENAI_API_KEY zurückgreift, der für OpenAI selbst gedacht ist. Die Antwort kommt im OpenAI-Format zurück, der Rest Ihres Codes bleibt also gleich.
Wann sich der Proxy lohnt
Innerhalb einer einzelnen Python-App reicht das SDK. Der Proxy hilft, wenn mehrere Apps oder Sprachen dieselben Modelle brauchen: Alle rufen einen Endpoint im OpenAI-Stil mit kurzen Modellnamen auf, und der Proxy hält den BroadNet-Schlüssel, setzt Rate Limits durch und protokolliert die Nutzung. Ihre Apps brauchen dann überhaupt keine BroadNet-spezifischen Einstellungen.
2. Proxy-Server
Installieren Sie die Proxy-Extras und schreiben Sie die config.yaml:
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
Starten Sie ihn und rufen Sie ihn wie jeden OpenAI-Endpoint auf:
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
os.environ/BROADNET_API_KEY_GLM weist LiteLLM an, diesen Schlüssel aus der Umgebung zu lesen. Jeder Eintrag nutzt seinen eigenen Pay-as-you-go-Schlüssel von BroadNet, daher entspricht rpm: 30, das optionale Rate Limit von LiteLLM pro Deployment, dem Limit des jeweiligen Schlüssels. Teilen sich mehrere Einträge einen Schlüssel, teilen sie sich auch dieses eine Limit; verteilen Sie die Zahl also auf sie. master_key sorgt dafür, dass der Proxy bei jedem Aufruf einen Schlüssel verlangt; laut LiteLLM-Dokumentation muss er mit sk- beginnen. Exportieren Sie LITELLM_MASTER_KEY, bevor Sie den Proxy starten.
Welches Modell passt?
| model_name | BroadNet-Modell | Einsatz |
|---|---|---|
glm |
GLM 5.3 | Tools, strukturierte Ausgabe, 1M Kontext |
deepseek-flash |
DeepSeek V4.1 Flash | Langer Kontext; das Modell der unbegrenzten Pläne |
qwen |
Qwen3.8 27B | Bilder, Tools, Arabisch |
| (bei Bedarf ergänzen) | Gemma 4 VL 26B | Niedriger Preis pro Token; läuft mit dem Guthaben von $5 |
Die Preise stehen auf der Preisseite. Wenn Sie von einem anderen Gateway wechseln, finden Sie in der Migrations-Checkliste, was Sie testen sollten.
Fehlerbehebung
- 401. Der BroadNet-Schlüssel ist falsch, abgelaufen oder das Pay-as-you-go-Kontingent ist aufgebraucht. Kommt der 401 vom Proxy selbst, prüfen Sie stattdessen den LiteLLM-Schlüssel, den Sie gesendet haben.
- Not Found. Stellen Sie sicher, dass
api_basegleichhttps://inference.broadnet.ai/v1mit/v1ist. Stimmt die Base URL, prüfen Sie, ob die Modell-ID nachopenai/exakt der von BroadNet entspricht. - Modell wird bei einem neuen Konto abgelehnt. GLM 5.3, Qwen3.8 27B und DeepSeek V4.1 Flash brauchen zuerst eine Aufladung; das Guthaben von $5 deckt nur
broadnet/gemma-4-26b-a4bund die beiden Transcribe-Modelle ab. - Leerer Content. Reasoning zählt zu
max_tokens. Erhöhen Sie den Wert oder senden Siereasoning_effort="low". Warum Antworten leer zurückkommen. - 429. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig. Das
rpmvon LiteLLM hilft beim Ersten; halten Sie gleichzeitige Aufrufer bei höchstens 4 pro Schlüssel. Siehe Fehlercodes und Retries. - Parallele Agenten mit einem Plan-Schlüssel. Eine Plan-Session verarbeitet immer nur eine Anfrage. Laufen mehrere Agenten über den Proxy auf einer Session, stehen sie in der Warteschlange; kaufen Sie eine Session pro parallelem Agenten.
