BroadRouter

Mastra-Agenten mit BroadNet Inference nutzen

Aktualisiert

Setzen Sie in einem Mastra-Agent model auf ein Objekt mit url https://inference.broadnet.ai/v1, apiKey aus BROADNET_API_KEY und id broadnet/broadnet/glm-5.3. Mastra hält den ersten Teil der id für einen Providernamen und entfernt ihn; mit dem doppelten Präfix kommt broadnet/glm-5.3 bei BroadNet an. Eigene URLs nutzen standardmäßig Chat Completions. Für Tools nehmen Sie GLM 5.3 oder Qwen3.8 27B.

Mastra ist ein TypeScript-Framework für KI-Agenten und Workflows. Neben den eingebauten Providern kann das model eines Agenten jeder OpenAI-kompatible Endpoint sein, angegeben als Objekt mit id und url. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 standardmäßige Chat Completions bereit und funktioniert daher auf diesem Weg – mit einem Haken bei der Modell-ID. BroadRouter ist die Website von BroadNet selbst; die Anleitung folgt der Models-Dokumentation von Mastra und @mastra/core 1.83.0.

Installation

npm install @mastra/core zod
export BROADNET_API_KEY='your-broadnet-key'

Einen Agenten verbinden

import { Agent } from "@mastra/core/agent";

const broadnet = (model: string) => ({
  id: `broadnet/${model}`,              // Mastra strips the first segment
  url: "https://inference.broadnet.ai/v1",
  apiKey: process.env.BROADNET_API_KEY,
});

export const assistant = new Agent({
  id: "assistant",
  name: "Assistant",
  instructions: "You are a concise assistant.",
  model: broadnet("broadnet/glm-5.3"),     // sends broadnet/glm-5.3
});

const res = await assistant.generate("Give me three names for a Go linting tool.");
console.log(res.text);

Warum das doppelte Präfix?

Laut Mastra-Dokumentation sendet eine id der Form provider/model nur den nackten Modellnamen an die Gegenstelle, während gateway/provider/model den Provider im Namen behält. Die IDs von BroadNet enthalten einen Schrägstrich und brauchen daher die längere Form. In unserem Test:

Mastra-id Bei BroadNet angekommene Modell-ID
broadnet/glm-5.3 glm-5.3 (falsch)
broadnet/broadnet/glm-5.3 broadnet/glm-5.3 (richtig)

Die Hilfsfunktion oben ergänzt das zusätzliche Segment für Sie.

Tools

import { createTool } from "@mastra/core/tools";
import { z } from "zod";

const weather = createTool({
  id: "get_weather",
  description: "Get the weather for a city",
  inputSchema: z.object({ city: z.string() }),
  execute: async (input) => ({ city: input.city, tempC: 21 }),
});

const agent = new Agent({
  id: "weather",
  name: "Weather",
  instructions: "Use the weather tool to answer.",
  tools: { weather },
  model: broadnet("broadnet/glm-5.3"),
});

Für Agenten mit Tools nehmen Sie broadnet/glm-5.3 oder broadnet/qwen3.8-27b. Die BroadNet-Dokumentation nennt Tools und strukturierte Ausgabe nur für diese beiden Modelle.

Streaming

const stream = await assistant.stream("Explain vector search in two sentences.");
for await (const chunk of stream.textStream) process.stdout.write(chunk);

Wichtige Einstellungen

  • url ist die Basis-URL und endet auf /v1. Mastra hängt /chat/completions an.
  • Kein api: "responses" ergänzen. Laut Mastra-Dokumentation schaltet das auf /v1/responses um. BroadNet nennt die Responses API nicht.
  • Ausgabelimit. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach, und das Reasoning zählt zum Ausgabelimit. Wenn Sie die Ausgabe-Tokens begrenzen, lassen Sie 2.000 oder mehr.

Welches Modell passt?

Agent Modell
Tools, strukturierte Ausgabe, Workflows broadnet/glm-5.3
Tools plus Bildeingabe oder arabischer Text broadnet/qwen3.8-27b
Reine Textschritte in einem Plan mit Pauschalpreis broadnet/deepseek-v4.1-flash

Preise aller Modelle. Für das Vercel AI SDK ohne Mastra siehe den Leitfaden zum AI SDK.

So haben wir das getestet

Am 15. November 2026 haben wir @mastra/core 1.83.0 mit Node 24 installiert und generate, stream sowie einen Agenten mit Tool gegen einen lokalen Mock-Server laufen lassen, der das Chat-Completions-Format von BroadNet spricht und Tool-Calls zurückgibt. Die protokollierten Anfragen haben wir gelesen: Jeder Aufruf ging an /v1/chat/completions, mit einem Bearer-Schlüssel aus apiKey. So haben wir die Präfix-Regel aus der Tabelle oben gefunden. Wir hatten keinen BroadNet-Schlüssel und haben daher keine echte Modellausgabe getestet.

Fehlerbehebung

  • 404 oder Modell nicht gefunden. Die Modell-ID hat vermutlich ihr Präfix verloren. Schreiben Sie die id als broadnet/broadnet/glm-5.3. Prüfen Sie dann, ob url auf /v1 endet. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die zwei Transcribe-Modelle ab.
  • 401. BROADNET_API_KEY ist im Prozess nicht gesetzt, oder der Schlüssel ist falsch oder sein Kontingent aufgebraucht.
  • Leere Antworten. Das Reasoning hat das Ausgabebudget verbraucht. Warum Antworten leer zurückkommen.
  • 429 in Workflows mit parallelen Schritten. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende; eine Plan-Session verarbeitet eine nach der anderen. Siehe Fehlercodes und Retries.

Häufige Fragen

Warum sendet Mastra glm-5.3 statt broadnet/glm-5.3?

Mastra liest die Modell-id als provider/model und sendet nur den Teil nach dem ersten Schrägstrich. Mit der id broadnet/glm-5.3 ging in unserem Test glm-5.3 raus, und das erkennt BroadNet nicht. Schreiben Sie die id als broadnet/broadnet/glm-5.3.

Gehört in die url von Mastra die Basis-URL oder die Chat-Completions-URL?

Die Basis-URL. Laut Mastra-Dokumentation tragen Sie die Basis-URL des OpenAI-kompatiblen Endpoints ein, also https://inference.broadnet.ai/v1 ohne /chat/completions.

Nutzt Mastra mit einer eigenen URL die Responses API?

Nicht standardmäßig. Laut Mastra-Dokumentation nutzen eigene Endpoints Chat Completions, sofern Sie nicht api auf responses setzen. Für BroadNet, das Chat Completions bereitstellt, lassen Sie das weg.

Funktionieren Mastra-Tools mit BroadNet?

Ja, auf einem Modell, für das BroadNet Tools nennt: GLM 5.3 oder Qwen3.8 27B. In unserem Mock-Test hat der Agent das Tool-Schema gesendet, das Tool ausgeführt und das Ergebnis zurückgegeben.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen