BroadRouter

用 Vercel AI SDK 调用 BroadNet Inference

更新于

安装 ai 和 @ai-sdk/openai-compatible,然后调用 createOpenAICompatible,name 设为 broadnet,baseURL 设为 https://inference.broadnet.ai/v1,apiKey 填你的 BroadNet 密钥。把 broadnet/glm-5.3 等 BroadNet 模型 ID 传给这个提供商,照常使用 generateText 或 streamText。密钥只放在服务端,并给思考模型设置充足的 maxOutputTokens。

Vercel 的 AI SDK 是一个用于构建大模型应用的 TypeScript 工具包。它的 @ai-sdk/openai-compatible 包可以为任何遵循 OpenAI chat completions 格式的 API 创建提供商。BroadNet Inference 遵循这个格式,所以你只需要改 base URL、密钥和模型 ID。如果你想直接用普通的 OpenAI 客户端,请看 Node SDK 指南。

配置步骤

  1. 安装依赖包。 撰写本文时,npm 上的版本是 ai 7.x 和 @ai-sdk/openai-compatible 3.x。

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. 创建提供商。

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. 生成文本。

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);

代码中的英文注释分别表示:在流式响应中返回用量数据;思考内容计入这个上限。

  1. 改成流式输出。 把 generateText 换成 streamText,读取 textStream。底层的传输格式见流式输出指南。

你传入的 name 会成为提供商选项和提供商元数据的键,所以要简短、固定不变。provider('id') 和 provider.chatModel('id') 都会创建对话模型,不需要为每个模型单独配置。密钥只放在服务端。不要把这个文件导入在浏览器里运行的代码,否则密钥会发送给每一位访问者。

提供商文档列出的能力包括文本生成、流式输出、工具调用、结构化输出、思考内容和图片输入,并注明其中一些取决于具体服务商。在 BroadNet 上,DeepSeek V4.1 Flash、Qwen3.8 27B 和 Gemma 4 VL 26B 支持图片输入,GLM 5.3 只接受文本。

值得设置的选项

  • reasoningEffort。 通过 providerOptions 传入,以提供商名称作为键。AI SDK 的文档说,具体取值取决于服务商;BroadNet 的文档给出的是 low。
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs。 只有提供商上的这个选项为 true 时,AI SDK 才会发送 JSON Schema。BroadNet 为 GLM 5.3 和 Qwen3.8 27B 列出了结构化输出。如果打开它,请用这两个模型生成符合 schema 的输出。
  • maxRetries。 generateText 默认重试两次。请按你的速率限制来设置。
  • 思考输出。 服务商返回思考内容时,AI SDK 会读取它。顶层结果字段 reasoningText 现已标记为弃用,改用 finalStep.reasoningText。不要编写依赖思考内容一定存在的逻辑。

选哪个模型

需求 模型 上下文
工具调用、结构化输出 broadnet/glm-5.3 1,048,576
图片加工具、阿拉伯语 broadnet/qwen3.8-27b 262,144
长上下文、固定价格套餐 broadnet/deepseek-v4.1-flash 1,048,576
便宜的文本和图片调用 broadnet/gemma-4-26b-a4b 32,768

各模型的每 token 价格见价格页面。

故障排查

  • 401。 运行环境里缺少 BROADNET_API_KEY(请检查托管平台的环境变量设置),或者密钥错误、已过期,或按量付费额度已用完。
  • providerOptions 被忽略。 键必须与提供商的 name 一致,并采用驼峰写法。如果 name: 'broadnet',就用 providerOptions.broadnet。
  • 模型报错。 ID 必须与 BroadNet 的完全一致,包括 broadnet/ 前缀。GLM 5.3、Qwen3.8 27B 和 DeepSeek V4.1 Flash 需要先充值;$5 初始额度可用于 Gemma 4 VL 26B 和两个 Transcribe 模型。
  • 文本为空,finishReason 为 “length”。 思考用完了额度。调高 maxOutputTokens 或降低 reasoningEffort。为什么回答会是空的。
  • 高负载时返回 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。Serverless 函数扩容很快,所以请在应用里限制并发。参见错误码与重试。
  • 在套餐密钥上并行运行智能体。 一个不限量套餐会话同一时间只处理一个请求。用 Promise.all 同时运行多个智能体,需要每个智能体一个会话,否则请求会排队。

常见问题

该用 @ai-sdk/openai 还是 @ai-sdk/openai-compatible?

第三方 OpenAI 兼容 API 请用 @ai-sdk/openai-compatible。它调用的是 chat completions 端点,正是 BroadNet Inference 提供的接口。

为什么生成的文本是空的?

在 BroadNet 上,思考内容计入 max_tokens。如果 maxOutputTokens 太小,模型可能在开始回答之前就把它用完。调高它,或者把 reasoningEffort 设为 low。

流式输出时怎样拿到 token 用量?

创建提供商时把 includeUsage 设为 true。AI SDK 的文档说,它会在流式响应中加入用量数据。默认值是 false。

每个 BroadNet 模型都要单独配置吗?

不需要。一个 createOpenAICompatible 提供商覆盖所有模型。用任意 BroadNet 对话模型 ID 调用 broadnet('model-id') 或 broadnet.chatModel('model-id') 即可。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity