BroadRouter

Memakai agen Mastra dengan BroadNet Inference

Diperbarui

Di Agent Mastra, isi model dengan objek berisi url https://inference.broadnet.ai/v1, apiKey dari BROADNET_API_KEY, dan id broadnet/broadnet/glm-5.3. Mastra menganggap bagian pertama id sebagai nama provider lalu membuangnya, jadi prefiks ganda membuat yang terkirim ke BroadNet adalah broadnet/glm-5.3. URL kustom memakai chat completions secara default. Pakai GLM 5.3 atau Qwen3.8 27B untuk tools.

Mastra adalah framework TypeScript untuk agen AI dan workflow. Selain provider bawaannya, model sebuah agen bisa berupa endpoint kompatibel OpenAI apa pun, ditulis sebagai objek dengan id dan url. BroadNet Inference menyajikan chat completions standar di https://inference.broadnet.ai/v1, jadi cara ini berfungsi, dengan satu catatan pada ID model. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi model Mastra dan @mastra/core 1.83.0.

Instalasi

npm install @mastra/core zod
export BROADNET_API_KEY='your-broadnet-key'

Menghubungkan agen

import { Agent } from "@mastra/core/agent";

const broadnet = (model: string) => ({
  id: `broadnet/${model}`,              // Mastra strips the first segment
  url: "https://inference.broadnet.ai/v1",
  apiKey: process.env.BROADNET_API_KEY,
});

export const assistant = new Agent({
  id: "assistant",
  name: "Assistant",
  instructions: "You are a concise assistant.",
  model: broadnet("broadnet/glm-5.3"),     // sends broadnet/glm-5.3
});

const res = await assistant.generate("Give me three names for a Go linting tool.");
console.log(res.text);

Kenapa prefiksnya ganda

Dokumentasi Mastra menyebut id yang ditulis sebagai provider/model mengirim nama model polos ke server tujuan, sedangkan gateway/provider/model mempertahankan provider di dalam nama. ID BroadNet mengandung garis miring, jadi butuh bentuk yang lebih panjang. Dalam pengujian kami:

id Mastra ID model yang diterima BroadNet
broadnet/glm-5.3 glm-5.3 (salah)
broadnet/broadnet/glm-5.3 broadnet/glm-5.3 (benar)

Helper di atas menambahkan segmen ekstra itu untuk Anda.

Tools

import { createTool } from "@mastra/core/tools";
import { z } from "zod";

const weather = createTool({
  id: "get_weather",
  description: "Get the weather for a city",
  inputSchema: z.object({ city: z.string() }),
  execute: async (input) => ({ city: input.city, tempC: 21 }),
});

const agent = new Agent({
  id: "weather",
  name: "Weather",
  instructions: "Use the weather tool to answer.",
  tools: { weather },
  model: broadnet("broadnet/glm-5.3"),
});

Pakai broadnet/glm-5.3 atau broadnet/qwen3.8-27b untuk agen dengan tools. Dokumentasi BroadNet mencantumkan tools dan output terstruktur hanya untuk kedua model ini.

Streaming

const stream = await assistant.stream("Explain vector search in two sentences.");
for await (const chunk of stream.textStream) process.stdout.write(chunk);

Pengaturan yang penting

  • url adalah base URL, diakhiri /v1. Mastra menambahkan /chat/completions.
  • Jangan tambahkan api: "responses". Dokumentasi Mastra menyebut opsi itu beralih ke /v1/responses. BroadNet tidak mencantumkan Responses API.
  • Batas output. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan penalaran ikut dihitung dalam batas output. Jika Anda membatasi token output, sisakan 2.000 atau lebih.

Model mana yang dipilih

Agen Model
Tools, output terstruktur, workflow broadnet/glm-5.3
Tools plus input gambar atau teks bahasa Arab broadnet/qwen3.8-27b
Langkah teks saja di paket harga tetap broadnet/deepseek-v4.1-flash

Harga semua model. Untuk Vercel AI SDK tanpa Mastra, lihat panduan AI SDK.

Cara kami mengujinya

Pada 2026-11-15 kami menginstal @mastra/core 1.83.0 dengan Node 24 dan menjalankan generate, stream, serta agen dengan tool terhadap mock server lokal yang meniru format chat completions BroadNet dan mengembalikan tool call. Kami membaca log permintaannya. Setiap panggilan masuk ke /v1/chat/completions dengan kunci Bearer dari apiKey. Dari situlah kami menemukan aturan prefiks di tabel atas. Kami tidak punya kunci BroadNet, jadi output model sungguhan tidak kami uji.

Pemecahan masalah

  • 404 atau model tidak ditemukan. ID model kemungkinan kehilangan prefiksnya. Tulis id sebagai broadnet/broadnet/glm-5.3. Lalu periksa bahwa url diakhiri /v1. Model berbayar memerlukan top up; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • 401. BROADNET_API_KEY belum diatur di proses, atau kuncinya salah atau jatahnya habis.
  • Balasan kosong. Penalaran menghabiskan anggaran output. Kenapa jawaban kembali kosong.
  • 429 di workflow dengan langkah paralel. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan; sesi paket menjalankan satu per satu. Lihat panduan error dan percobaan ulang.

Pertanyaan umum

Kenapa Mastra mengirim glm-5.3, bukan broadnet/glm-5.3?

Mastra membaca id model sebagai provider/model dan hanya mengirim bagian setelah garis miring pertama. Dengan id broadnet/glm-5.3, dalam pengujian kami Mastra mengirim glm-5.3, yang tidak dikenali BroadNet. Tulis id sebagai broadnet/broadnet/glm-5.3.

Apakah url di Mastra diisi base URL atau URL chat completions?

Base URL. Dokumentasi Mastra menyebut untuk memakai base URL dari endpoint kompatibel OpenAI, jadi pakai https://inference.broadnet.ai/v1 tanpa /chat/completions.

Apakah Mastra memakai Responses API dengan URL kustom?

Tidak secara default. Dokumentasi Mastra menyebut endpoint kustom memakai chat completions kecuali Anda menambahkan api bernilai responses. Jangan tambahkan untuk BroadNet, yang menyajikan chat completions.

Apakah tools Mastra berfungsi di BroadNet?

Ya, pada model yang dicantumkan BroadNet dengan tools, yaitu GLM 5.3 atau Qwen3.8 27B. Dalam uji mock kami, agen mengirim skema tool, menjalankan tool itu, dan mengembalikan hasilnya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity