BroadRouter

DSPy mit BroadNet Inference nutzen (model_type="chat" setzen)

Aktualisiert

Erstellen Sie dspy.LM mit dem Modell "openai/broadnet/glm-5.3", model_type="chat", api_base https://inference.broadnet.ai/v1 und Ihrem BroadNet-api_key und übergeben Sie es an dspy.configure. Entscheidend ist model_type="chat": DSPy 3.5 schickt OpenAI-Modelle standardmäßig an die Responses API, die BroadNet nicht bereitstellt. In unserem Test mit einem Mock-Server ging der Aufruf ohne diese Option an /v1/responses und bekam einen 404, und auch der Live-Endpoint von BroadNet beantwortet diesen Pfad mit 404.

DSPy ist ein Python-Framework, mit dem Sie Sprachmodelle über Signaturen und Module programmieren und die Prompts dahinter optimieren. Mit einem Modell verbinden Sie es über dspy.LM. Die DSPy-Dokumentation zeigt OpenAI-kompatible Server als openai/-Modell mit api_base. Für BroadNet Inference, das Chat Completions unter https://inference.broadnet.ai/v1 bereitstellt, brauchen Sie zusätzlich model_type="chat". BroadRouter ist die Website von BroadNet selbst; diese Anleitung folgt der DSPy-Dokumentation für 3.5.

Installation

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

Verbinden

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/ sagt DSPy, dass es seinen OpenAI-Client nutzen soll. Der Rest des Strings, broadnet/glm-5.3, ist die Modell-ID, die an BroadNet geht.
  • model_type="chat" hält DSPy auf /v1/chat/completions. Laut LM-Referenz von DSPy sorgt der Standardwert 'auto' dafür, dass OpenAI-Modelle „use Responses“ (Übersetzung: „Responses verwenden“).
  • max_tokens lässt Platz für Reasoning. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken nach, bevor sie antworten, und das Nachdenken zählt zum Limit.

Was ohne model_type passiert

Das Beispiel auf der Installationsseite von DSPy für einen OpenAI-kompatiblen Server lässt model_type weg. In unserem Test mit DSPy 3.5.0 ging die Anfrage dann mit max_output_tokens an /v1/responses, und der Aufruf scheiterte:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

Dieser Fehler kam von unserem Mock-Server. Auch der Live-Endpoint von BroadNet beantwortete /v1/responses bei unserer Prüfung am 16. November 2026 mit einem 404. Mit model_type="chat" war das Problem behoben.

Module und Modelle

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
Einsatz in DSPy Modell
Predict, ChainOfThought, Optimizer-Läufe broadnet/deepseek-v4.1-flash (niedriger Preis pro Token; Pauschalpläne)
ReAct und andere Module mit Tool Calls broadnet/glm-5.3 oder broadnet/qwen3.8-27b
DSPy mit dem Startguthaben ausprobieren broadnet/gemma-4-26b-a4b (Kontext von 32.768 Tokens)

Die BroadNet-Dokumentation nennt Tools und strukturierte Ausgabe nur für GLM 5.3 und Qwen3.8 27B. Sie können ein Modell für das Programm und ein anderes für einen Optimizer nutzen, jeweils mit eigenem dspy.LM. Preise aller Modelle.

So haben wir das getestet

Am 15. November 2026 haben wir dspy 3.5.0 in einer frischen virtuellen Umgebung installiert und dspy.Predict gegen einen lokalen Mock-Server laufen lassen, der das Chat-Completions-Format von BroadNet spricht und /v1/responses mit 404 beantwortet. Ohne model_type rief DSPy /v1/responses auf und scheiterte. Mit model_type="chat" rief es /v1/chat/completions mit der Modell-ID broadnet/glm-5.3 und einem Bearer-Schlüssel auf und las das Antwortfeld aus. Dabei haben wir gesehen, dass DSPy das Output-Limit als max_completion_tokens sendet. Die API-Referenz von BroadNet beschreibt max_tokens und erwähnt max_completion_tokens nicht; ob BroadNet ein so gesendetes Limit anwendet, können wir daher nicht bestätigen. Wir haben gegen einen Mock-Server getestet, nicht mit einem BroadNet-Schlüssel, und daher keine echte Modellausgabe geprüft.

Fehlerbehebung

  • 404 auf /v1/responses. Ergänzen Sie model_type="chat".
  • 404 auf /v1/chat/completions. api_base muss auf /v1 enden, und der Modell-String muss openai/ plus die vollständige BroadNet-ID sein. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • „Expected to find output fields“. Die Antwort war leer oder abgeschnitten, oft weil das Reasoning das Output-Budget aufgebraucht hat. Erhöhen Sie max_tokens. Warum Antworten leer zurückkommen.
  • 429 während der Optimierung. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Senken Sie die Thread-Zahl des Optimizers und lesen Sie Fehlercodes und Retries.

Häufige Fragen

Warum ruft DSPy bei BroadNet /v1/responses auf?

Laut der Referenz zu dspy.LM in DSPy 3.5 sorgt model_type 'auto', der Standardwert, dafür, dass OpenAI-Modelle die Responses API nutzen. Ein openai/-Modell mit eigener api_base wird genauso behandelt. Übergeben Sie model_type="chat", um Chat Completions zu nutzen, also das, was BroadNet bereitstellt.

Wie schreibe ich die BroadNet-Modell-ID in DSPy?

Setzen Sie openai/ vor die BroadNet-ID, zum Beispiel openai/broadnet/glm-5.3. DSPy wählt anhand von openai/ den Client und hat in unserem Test broadnet/glm-5.3 als Modell gesendet.

Welches BroadNet-Modell eignet sich für DSPy-Optimizer?

Optimizer machen viele Aufrufe, daher zählen Kosten und Rate Limits. DeepSeek V4.1 Flash hat einen niedrigen Preis pro Token und ist das Modell der Pauschalpläne von BroadNet, die nicht pro Token abrechnen. Für Module, die Tools aufrufen, etwa ReAct, nutzen Sie GLM 5.3 oder Qwen3.8 27B.

Spielt der Cache von DSPy bei BroadNet eine Rolle?

DSPy cacht LM-Aufrufe standardmäßig (cache=True), ein wiederholter identischer Aufruf kostet also nichts. Setzen Sie cache=False, während Sie die Verbindung prüfen, sonst sehen Sie womöglich eine gecachte Antwort.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen