BroadRouter

smolagents mit OpenAIModel auf BroadNet Inference betreiben

Aktualisiert

Erstellen Sie in smolagents ein OpenAIModel mit model_id auf einer BroadNet-ID wie broadnet/glm-5.3, api_base auf https://inference.broadnet.ai/v1 und api_key auf Ihrem BroadNet-Schlüssel, und übergeben Sie es an CodeAgent oder ToolCallingAgent. CodeAgent schreibt Python statt nativer Tool Calls und läuft daher auch auf DeepSeek V4.1 Flash. ToolCallingAgent braucht GLM 5.3 oder Qwen3.8 27B.

smolagents ist die schlanke Python-Bibliothek von Hugging Face für Agenten. Ihre Klasse OpenAIModel „connects to an OpenAI-compatible API server“ (Übersetzung: „verbindet sich mit einem OpenAI-kompatiblen API-Server“), die URL steht in api_base. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 Chat Completions bereit, daher funktioniert das direkt. BroadRouter ist die Website von BroadNet; diese Anleitung folgt der Dokumentation von smolagents 1.26.0.

Installation

pip install smolagents
export BROADNET_API_KEY='your-broadnet-key'

CodeAgent

import os
from smolagents import OpenAIModel, CodeAgent

model = OpenAIModel(
    model_id="broadnet/deepseek-v4.1-flash",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)

agent = CodeAgent(tools=[], model=model)
print(agent.run("What is 6 * 7? Use Python to check."))

CodeAgent lässt das Modell Python zwischen <code>-Tags schreiben und führt es lokal aus. Die Anfrage ist eine einfache Chat Completion mit Stoppsequenzen wie </code> und ohne tools-Feld. Sie hängt also nicht von nativem Tool Calling ab und läuft daher auch auf broadnet/deepseek-v4.1-flash, dem Modell der unbegrenzten Pläne von BroadNet. Die Codequalität schwankt trotzdem je nach Modell; testen Sie also Ihre eigenen Aufgaben.

CodeAgent führt Code aus, den das Modell schreibt. Lesen Sie die Hinweise von smolagents zur sicheren Codeausführung, bevor Sie ihm Tools geben, die auf Dateien, Netzwerke oder Zugangsdaten zugreifen.

ToolCallingAgent

from smolagents import ToolCallingAgent, tool

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city.

    Args:
        city: The city name.
    """
    return f"21C in {city}"

model = OpenAIModel(
    model_id="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
agent = ToolCallingAgent(tools=[get_weather], model=model)
print(agent.run("What's the weather in Riyadh?"))

ToolCallingAgent sendet Ihre Tools und sein eigenes Tool final_answer als Function-Schemas mit tool_choice: "required". Nutzen Sie broadnet/glm-5.3 oder broadnet/qwen3.8-27b; die BroadNet-Dokumentation nennt Tools nur für diese beiden Modelle.

Welches Modell passt?

Agent Modell
CodeAgent, lange Läufe mit einem Flatrate-Plan broadnet/deepseek-v4.1-flash
ToolCallingAgent broadnet/glm-5.3
Beide Agenten mit Bildeingabe broadnet/qwen3.8-27b

Eine Plan-Session verarbeitet immer nur eine Anfrage, und ein Agent sendet seine Schritte nacheinander; eine Session passt also zu einem Agenten. Preise für alle Modelle.

So haben wir das getestet

Am 2026-11-15 haben wir smolagents 1.26.0 in einer frischen virtuellen Umgebung installiert und beide Agenten gegen einen lokalen Mock-Server ausgeführt, der das Chat-Completions-Format von BroadNet spricht. Der CodeAgent mit der DeepSeek-ID erhielt eine Code-Antwort, führte sie aus und gab 42 zurück. Seine Anfragen enthielten max_tokens: 4000, Stoppsequenzen und keine Tools. Beim ToolCallingAgent haben wir die Form der Anfrage geprüft: Die Modell-ID wurde unverändert gesendet, mit beiden Tool-Schemas und tool_choice: "required". smolagents schickt Tool-Ergebnisse als User-Nachrichten zurück. Unser Mock folgte diesem Format nicht, daher haben wir diesen Agenten nicht bis zu einer finalen Antwort laufen lassen. Wir hatten keinen BroadNet-Schlüssel und haben daher keine echte Modellausgabe getestet.

Fehlerbehebung

  • 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent ist aufgebraucht.
  • 404. api_base muss auf /v1 enden. Prüfen Sie die Modell-ID. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • „Make sure to provide correct code blobs“. Die Antwort des Modells enthielt keinen Codeblock. Erhöhen Sie max_tokens, weil Reasoning dazu zählt, oder probieren Sie ein anderes Modell. Warum Antworten leer zurückkommen.
  • ToolCallingAgent wird nie fertig. Wechseln Sie zu broadnet/glm-5.3 oder broadnet/qwen3.8-27b.
  • 429. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute. smolagents kann sich mit requests_per_minute selbst drosseln. Siehe Fehlercodes und Retries.

Häufige Fragen

Heißt es OpenAIModel oder OpenAIServerModel?

smolagents 1.26 dokumentiert OpenAIModel für jeden OpenAI-kompatiblen Server. OpenAIServerModel exportiert das Paket zwar noch, die Dokumentation beschreibt aber OpenAIModel.

Läuft smolagents mit dem unbegrenzten Plan von BroadNet?

Die Pläne decken DeepSeek V4.1 Flash ab. BroadNet nennt dafür kein Tool Calling, doch CodeAgent braucht keine nativen Tool Calls; er fordert vom Modell Python-Code an. In unserem Test mit einem Mock-Server sendete ein CodeAgent mit der DeepSeek-ID einfache Chat-Anfragen ohne tools-Feld.

Warum braucht ToolCallingAgent GLM 5.3 oder Qwen3.8 27B?

Er sendet die Tools als OpenAI-Function-Schemas mit tool_choice auf required. Die BroadNet-Dokumentation nennt Tools nur für GLM 5.3 und Qwen3.8 27B.

Wie übergebe ich max_tokens oder temperature?

Als Keyword-Argumente an OpenAIModel. Laut smolagents-Dokumentation werden zusätzliche Argumente an jeden Completion-Aufruf weitergereicht. In unserem Test wurde max_tokens=4000 bei jeder Anfrage gesendet.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen