Vercel 的 AI SDK 是一个用于构建大模型应用的 TypeScript 工具包。它的 @ai-sdk/openai-compatible 包可以为任何遵循 OpenAI chat completions 格式的 API 创建提供商。BroadNet Inference 遵循这个格式,所以你只需要改 base URL、密钥和模型 ID。如果你想直接用普通的 OpenAI 客户端,请看 Node SDK 指南。
配置步骤
-
安装依赖包。 撰写本文时,npm 上的版本是
ai7.x 和@ai-sdk/openai-compatible3.x。npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
创建提供商。
// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
生成文本。
import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage);
代码中的英文注释分别表示:在流式响应中返回用量数据;思考内容计入这个上限。
- 改成流式输出。 把
generateText换成streamText,读取textStream。底层的传输格式见流式输出指南。
你传入的 name 会成为提供商选项和提供商元数据的键,所以要简短、固定不变。provider('id') 和 provider.chatModel('id') 都会创建对话模型,不需要为每个模型单独配置。密钥只放在服务端。不要把这个文件导入在浏览器里运行的代码,否则密钥会发送给每一位访问者。
提供商文档列出的能力包括文本生成、流式输出、工具调用、结构化输出、思考内容和图片输入,并注明其中一些取决于具体服务商。在 BroadNet 上,DeepSeek V4.1 Flash、Qwen3.8 27B 和 Gemma 4 VL 26B 支持图片输入,GLM 5.3 只接受文本。
值得设置的选项
- reasoningEffort。 通过
providerOptions传入,以提供商名称作为键。AI SDK 的文档说,具体取值取决于服务商;BroadNet 的文档给出的是low。
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs。 只有提供商上的这个选项为
true时,AI SDK 才会发送 JSON Schema。BroadNet 为 GLM 5.3 和 Qwen3.8 27B 列出了结构化输出。如果打开它,请用这两个模型生成符合 schema 的输出。 - maxRetries。
generateText默认重试两次。请按你的速率限制来设置。 - 思考输出。 服务商返回思考内容时,AI SDK 会读取它。顶层结果字段
reasoningText现已标记为弃用,改用finalStep.reasoningText。不要编写依赖思考内容一定存在的逻辑。
选哪个模型
| 需求 | 模型 | 上下文 |
|---|---|---|
| 工具调用、结构化输出 | broadnet/glm-5.3 |
1,048,576 |
| 图片加工具、阿拉伯语 | broadnet/qwen3.8-27b |
262,144 |
| 长上下文、固定价格套餐 | broadnet/deepseek-v4.1-flash |
1,048,576 |
| 便宜的文本和图片调用 | broadnet/gemma-4-26b-a4b |
32,768 |
各模型的每 token 价格见价格页面。
故障排查
- 401。 运行环境里缺少
BROADNET_API_KEY(请检查托管平台的环境变量设置),或者密钥错误、已过期,或按量付费额度已用完。 - providerOptions 被忽略。 键必须与提供商的
name一致,并采用驼峰写法。如果name: 'broadnet',就用providerOptions.broadnet。 - 模型报错。 ID 必须与 BroadNet 的完全一致,包括
broadnet/前缀。GLM 5.3、Qwen3.8 27B 和 DeepSeek V4.1 Flash 需要先充值;$5 初始额度可用于 Gemma 4 VL 26B 和两个 Transcribe 模型。 - 文本为空,finishReason 为 “length”。 思考用完了额度。调高
maxOutputTokens或降低reasoningEffort。为什么回答会是空的。 - 高负载时返回 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。Serverless 函数扩容很快,所以请在应用里限制并发。参见错误码与重试。
- 在套餐密钥上并行运行智能体。 一个不限量套餐会话同一时间只处理一个请求。用
Promise.all同时运行多个智能体,需要每个智能体一个会话,否则请求会排队。
