BroadRouter

LangChain mit BroadNet Inference nutzen

Aktualisiert

Installieren Sie langchain-openai und erstellen Sie ChatOpenAI mit base_url https://inference.broadnet.ai/v1, Ihrem BroadNet-Schlüssel als api_key und einer BroadNet-Modell-ID wie broadnet/glm-5.3. Invoke-, Stream- und Tool-Calling-Chains laufen dann über Chat Completions. Verzichten Sie auf Funktionen, die nur die Responses API bietet, und lassen Sie in max_tokens Platz für Reasoning.

ChatOpenAI aus LangChain akzeptiert über base_url jeden beliebigen Endpoint. Das funktioniert mit BroadNet Inference, weil es das Standardformat für Chat Completions verwendet. Wenn Sie die API stattdessen direkt aufrufen, lesen Sie die Anleitung zum Python SDK.

Installieren

Aktuelle Versionen von langchain-openai (1.x) benötigen Python 3.11 oder neuer.

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

Verbinden

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

openai_api_base ist ein Alias für base_url. Ist keiner von beiden gesetzt, liest LangChain OPENAI_API_BASE, und danach liest der zugrunde liegende openai-Client OPENAI_BASE_URL.

Gut zu wissen

  • Reasoning-Text wird nicht übernommen. Laut LangChain-Dokumentation folgt ChatOpenAI der offiziellen OpenAI-Spezifikation und behält keine Felder außerhalb des Standards wie reasoning_content. Sie erhalten die endgültige Antwort, und die braucht eine Chain meist auch.
  • Lassen Sie Platz für Reasoning. GLM 5.3, DeepSeek V4.1 Flash und Qwen3.8 27B denken zuerst nach. Ein kleines max_tokens kann zu einer leeren Antwort führen. Warum Antworten leer zurückkommen.
  • Usage beim Streaming. Wenn Sie den Endpoint über OPENAI_BASE_URL konfigurieren, schaltet LangChain stream_usage standardmäßig ab. Übergeben Sie stream_usage=True, wenn Sie beim Streaming Token-Zahlen erhalten möchten. Laut BroadNet-Dokumentation kommt die Usage im letzten Chunk, wenn sie angefordert wurde.
  • Bleiben Sie bei Chat Completions. BroadNet stellt /v1/chat/completions bereit, nicht die Responses API. Laut LangChain-Dokumentation wechselt ChatOpenAI zur Responses API, sobald Sie integrierte OpenAI-Tools (Websuche, Dateisuche, Code Interpreter und Ähnliches), Gesprächszustand oder den Parameter reasoning verwenden. Lassen Sie diese weg und setzen Sie nicht use_responses_api=True.
  • Name des Token-Limits. Laut LangChain-Dokumentation wird max_tokens intern in max_completion_tokens umgewandelt. Die BroadNet-Dokumentation beschreibt max_tokens. Wenn ein Limit ignoriert zu werden scheint, prüfen Sie die Anfrage, die Ihre App tatsächlich sendet.

Welches Modell für welche Chain

Chain Modell
Tool Calling und strukturierte Ausgabe broadnet/glm-5.3
Lange Dokumente und Agenten, unbegrenzter Plan broadnet/deepseek-v4.1-flash
Arabischer Text oder Bilder broadnet/qwen3.8-27b

Preise aller Modelle ansehen.

Fehlerbehebung

  • 401. Der Schlüssel ist falsch, abgelaufen oder das Pay-as-you-go-Kontingent ist aufgebraucht. Wenn Sie keinen api_key übergeben haben, hat LangChain OPENAI_API_KEY verwendet, und darin steht womöglich ein OpenAI-Schlüssel.
  • 404 oder „not found“. Prüfen Sie, ob base_url auf /v1 endet und ob nichts den Aufruf an die Responses API umleitet (siehe oben). Prüfen Sie dann, ob die Modell-ID exakt der von BroadNet entspricht, mit dem Präfix broadnet/. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • Leeres content. Das Reasoning hat das Budget aufgebraucht. Erhöhen Sie max_tokens. Warum Antworten leer zurückkommen.
  • Es kommt nie zu Tool Calls. Nutzen Sie broadnet/glm-5.3 oder broadnet/qwen3.8-27b. Die BroadNet-Dokumentation nennt Tools nur für diese beiden.
  • 429 in Batch- oder parallelen Chains. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig. Setzen Sie für batch() den Wert max_concurrency in der Runnable-Konfiguration. Siehe Fehlercodes und Retries.

Häufige Fragen

Nehme ich in ChatOpenAI base_url oder openai_api_base?

Beides geht. openai_api_base ist ein Alias für base_url. Fehlen beide, prüft LangChain OPENAI_API_BASE, danach liest der openai-Client OPENAI_BASE_URL.

Kann ich den BroadNet-Endpoint nur über Umgebungsvariablen setzen?

Ja. Setzen Sie OPENAI_BASE_URL auf https://inference.broadnet.ai/v1 und OPENAI_API_KEY auf Ihren BroadNet-Schlüssel, und erstellen Sie ChatOpenAI dann nur mit der Modell-ID. Übergeben Sie stream_usage=True, wenn Sie beim Streaming Token-Zahlen erhalten möchten.

Warum verwirft LangChain reasoning_content aus BroadNet-Antworten?

Laut LangChain-Dokumentation folgt ChatOpenAI der offiziellen OpenAI-Spezifikation und extrahiert keine Felder außerhalb des Standards wie reasoning_content. Die endgültige Antwort erhalten Sie trotzdem in content.

Unterstützt ChatOpenAI mit BroadNet Tool Calling?

Ja, über bind_tools, bei den Modellen, für die BroadNet Tools angibt. Nutzen Sie broadnet/glm-5.3 oder broadnet/qwen3.8-27b für Tool Calling und with_structured_output.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen