BroadRouter
Loslegen

LiteLLM an BroadNet Inference anbinden (SDK und Proxy)

Aktualisiert

Setzen Sie in LiteLLM openai/ vor die BroadNet-Modell-ID, also openai/broadnet/glm-5.3, und setzen Sie api_base auf https://inference.broadnet.ai/v1 und Ihren BroadNet-Schlüssel als api_key. Im Proxy tragen Sie dieselben Werte unter litellm_params in der config.yaml ein und geben dem Modell einen kurzen model_name.

LiteLLM bietet eine einheitliche Schnittstelle zu vielen LLM-Anbietern, als Python SDK und als Proxy-Server. Für eine OpenAI-kompatible API sind laut Dokumentation zwei Dinge nötig: openai/ vor den Modellnamen setzen und api_base setzen. BroadNet Inference nutzt genau diese Route.

1. Python SDK

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

openai/ wählt die Route; LiteLLM sendet broadnet/glm-5.3 an BroadNet. Hängen Sie nichts an die Base URL an; der OpenAI-Client von LiteLLM ergänzt den Endpoint-Pfad selbst.

Laut LiteLLM-Dokumentation nutzt die Route openai die offizielle OpenAI-Python-Bibliothek, und die braucht bei jeder Anfrage einen API-Schlüssel. Übergeben Sie api_key wie oben ausdrücklich, damit LiteLLM nie auf einen OPENAI_API_KEY zurückgreift, der für OpenAI selbst gedacht ist. Die Antwort kommt im OpenAI-Format zurück, der Rest Ihres Codes bleibt also gleich.

Wann sich der Proxy lohnt

Innerhalb einer einzelnen Python-App reicht das SDK. Der Proxy hilft, wenn mehrere Apps oder Sprachen dieselben Modelle brauchen: Alle rufen einen Endpoint im OpenAI-Stil mit kurzen Modellnamen auf, und der Proxy hält den BroadNet-Schlüssel, setzt Rate Limits durch und protokolliert die Nutzung. Ihre Apps brauchen dann überhaupt keine BroadNet-spezifischen Einstellungen.

2. Proxy-Server

Installieren Sie die Proxy-Extras und schreiben Sie die config.yaml:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Starten Sie ihn und rufen Sie ihn wie jeden OpenAI-Endpoint auf:

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

os.environ/BROADNET_API_KEY_GLM weist LiteLLM an, diesen Schlüssel aus der Umgebung zu lesen. Jeder Eintrag nutzt seinen eigenen Pay-as-you-go-Schlüssel von BroadNet, daher entspricht rpm: 30, das optionale Rate Limit von LiteLLM pro Deployment, dem Limit des jeweiligen Schlüssels. Teilen sich mehrere Einträge einen Schlüssel, teilen sie sich auch dieses eine Limit; verteilen Sie die Zahl also auf sie. master_key sorgt dafür, dass der Proxy bei jedem Aufruf einen Schlüssel verlangt; laut LiteLLM-Dokumentation muss er mit sk- beginnen. Exportieren Sie LITELLM_MASTER_KEY, bevor Sie den Proxy starten.

Welches Modell passt?

model_name BroadNet-Modell Einsatz
glm GLM 5.3 Tools, strukturierte Ausgabe, 1M Kontext
deepseek-flash DeepSeek V4.1 Flash Langer Kontext; das Modell der unbegrenzten Pläne
qwen Qwen3.8 27B Bilder, Tools, Arabisch
(bei Bedarf ergänzen) Gemma 4 VL 26B Niedriger Preis pro Token; läuft mit dem Guthaben von $5

Die Preise stehen auf der Preisseite. Wenn Sie von einem anderen Gateway wechseln, finden Sie in der Migrations-Checkliste, was Sie testen sollten.

Fehlerbehebung

  • 401. Der BroadNet-Schlüssel ist falsch, abgelaufen oder das Pay-as-you-go-Kontingent ist aufgebraucht. Kommt der 401 vom Proxy selbst, prüfen Sie stattdessen den LiteLLM-Schlüssel, den Sie gesendet haben.
  • Not Found. Stellen Sie sicher, dass api_base gleich https://inference.broadnet.ai/v1 mit /v1 ist. Stimmt die Base URL, prüfen Sie, ob die Modell-ID nach openai/ exakt der von BroadNet entspricht.
  • Modell wird bei einem neuen Konto abgelehnt. GLM 5.3, Qwen3.8 27B und DeepSeek V4.1 Flash brauchen zuerst eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • Leerer Content. Reasoning zählt zu max_tokens. Erhöhen Sie den Wert oder senden Sie reasoning_effort="low". Warum Antworten leer zurückkommen.
  • 429. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig. Das rpm von LiteLLM hilft beim Ersten; halten Sie gleichzeitige Aufrufer bei höchstens 4 pro Schlüssel. Siehe Fehlercodes und Retries.
  • Parallele Agenten mit einem Plan-Schlüssel. Eine Plan-Session verarbeitet immer nur eine Anfrage. Laufen mehrere Agenten über den Proxy auf einer Session, stehen sie in der Warteschlange; kaufen Sie eine Session pro parallelem Agenten.

Häufige Fragen

Warum liefert LiteLLM einen Not-Found-Fehler?

Laut LiteLLM-Dokumentation muss api_base auf /v1 enden. Nutzen Sie https://inference.broadnet.ai/v1 und hängen Sie kein /chat/completions an.

Warum heißt das Modell openai/broadnet/glm-5.3?

Das Präfix openai/ sagt LiteLLM, dass es einen /chat/completions-Endpoint im OpenAI-Stil aufrufen soll. LiteLLM wählt anhand des Präfixes die Route und sendet den Rest, broadnet/glm-5.3, also die BroadNet-Modell-ID.

Kann ich den Schlüssel eines unbegrenzten BroadNet-Plans hinter einen gemeinsamen LiteLLM-Proxy setzen?

Plan-Schlüssel dürfen weder geteilt noch weiterverkauft werden, und eine Session verarbeitet immer nur eine Anfrage. Nutzen Sie sie für Ihre eigenen Agenten. Für einen Team-Proxy nehmen Sie Pay-as-you-go-Schlüssel.

Braucht LiteLLM OPENAI_API_KEY, um BroadNet aufzurufen?

Die openai-Route braucht bei jeder Anfrage einen Schlüssel, aus api_key oder OPENAI_API_KEY. Übergeben Sie Ihren BroadNet-Schlüssel als api_key, im Proxy als os.environ/BROADNET_API_KEY, damit LiteLLM keinen echten OpenAI-Schlüssel an BroadNet sendet.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen