---
title: "Vercel AI SDK createOpenAICompatible 自定义 base URL | BroadRouter"
description: "用 @ai-sdk/openai-compatible 的 createOpenAICompatible 从 Vercel AI SDK 调用 BroadNet Inference：generateText、streamText、工具和思考强度。"
url: https://broadrouter.com/zh/guides/vercel-ai-sdk-openai-compatible/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/guides/vercel-ai-sdk-openai-compatible/)（2026-11-16 更新）。

# 用 Vercel AI SDK 调用 BroadNet Inference

更新于 2026-11-16

安装 ai 和 @ai-sdk/openai-compatible，然后调用 createOpenAICompatible，name 设为 broadnet，baseURL 设为 https://inference.broadnet.ai/v1，apiKey 填你的 BroadNet 密钥。把 broadnet/glm-5.3 等 BroadNet 模型 ID 传给这个提供商，照常使用 generateText 或 streamText。密钥只放在服务端，并给思考模型设置充足的 maxOutputTokens。

Vercel 的 [AI SDK](https://ai-sdk.dev/providers/openai-compatible-providers) 是一个用于构建大模型应用的 TypeScript 工具包。它的 `@ai-sdk/openai-compatible` 包可以为任何遵循 OpenAI chat completions 格式的 API 创建提供商。BroadNet Inference 遵循这个格式，所以你只需要改 base URL、密钥和模型 ID。如果你想直接用普通的 OpenAI 客户端，请看 [Node SDK 指南](https://broadrouter.com/zh/guides/openai-node-sdk/)。

## 配置步骤

1.  **安装依赖包。** 撰写本文时，npm 上的版本是 `ai` 7.x 和 `@ai-sdk/openai-compatible` 3.x。
    
    ```bash
    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
    ```
    
2.  **创建提供商。**
    
    ```ts
    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
    ```
    
3.  **生成文本。**
    
    ```ts
    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
    ```
    

代码中的英文注释分别表示：在流式响应中返回用量数据；思考内容计入这个上限。

4.  **改成流式输出。** 把 `generateText` 换成 `streamText`，读取 `textStream`。底层的传输格式见[流式输出指南](https://broadrouter.com/zh/guides/streaming-chat-completions/)。

你传入的 `name` 会成为提供商选项和提供商元数据的键，所以要简短、固定不变。`provider('id')` 和 `provider.chatModel('id')` 都会创建对话模型，不需要为每个模型单独配置。密钥只放在服务端。不要把这个文件导入在浏览器里运行的代码，否则密钥会发送给每一位访问者。

提供商文档列出的能力包括文本生成、流式输出、工具调用、结构化输出、思考内容和图片输入，并注明其中一些取决于具体服务商。在 BroadNet 上，DeepSeek V4.1 Flash、Qwen3.8 27B 和 Gemma 4 VL 26B 支持图片输入，GLM 5.3 只接受文本。

## 值得设置的选项

-   **reasoningEffort。** 通过 `providerOptions` 传入，以提供商名称作为键。AI SDK 的文档说，具体取值取决于服务商；BroadNet 的文档给出的是 `low`。

```ts
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
```

-   **supportsStructuredOutputs。** 只有提供商上的这个选项为 `true` 时，AI SDK 才会发送 JSON Schema。BroadNet 为 GLM 5.3 和 Qwen3.8 27B 列出了结构化输出。如果打开它，请用这两个模型生成符合 schema 的输出。
-   **maxRetries。** `generateText` 默认重试两次。请按你的速率限制来设置。
-   **思考输出。** 服务商返回思考内容时，AI SDK 会读取它。顶层结果字段 `reasoningText` 现已标记为弃用，改用 `finalStep.reasoningText`。不要编写依赖思考内容一定存在的逻辑。

## 选哪个模型

| 需求 | 模型 | 上下文 |
| --- | --- | --- |
| 工具调用、结构化输出 | [`broadnet/glm-5.3`](https://broadrouter.com/zh/models/glm-5.3/) | 1,048,576 |
| 图片加工具、阿拉伯语 | [`broadnet/qwen3.8-27b`](https://broadrouter.com/zh/models/qwen3.8-27b/) | 262,144 |
| 长上下文、固定价格套餐 | [`broadnet/deepseek-v4.1-flash`](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) | 1,048,576 |
| 便宜的文本和图片调用 | [`broadnet/gemma-4-26b-a4b`](https://broadrouter.com/zh/models/gemma-4-vl-26b/) | 32,768 |

各模型的每 token 价格见[价格页面](https://broadrouter.com/zh/pricing/)。

## 故障排查

-   **401。** 运行环境里缺少 `BROADNET_API_KEY`（请检查托管平台的环境变量设置），或者密钥错误、已过期，或按量付费额度已用完。
-   **providerOptions 被忽略。** 键必须与提供商的 `name` 一致，并采用驼峰写法。如果 `name: 'broadnet'`，就用 `providerOptions.broadnet`。
-   **模型报错。** ID 必须与 BroadNet 的完全一致，包括 `broadnet/` 前缀。GLM 5.3、Qwen3.8 27B 和 DeepSeek V4.1 Flash 需要先充值；$5 初始额度可用于 Gemma 4 VL 26B 和两个 Transcribe 模型。
-   **文本为空，finishReason 为 “length”。** 思考用完了额度。调高 `maxOutputTokens` 或降低 `reasoningEffort`。[为什么回答会是空的](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。
-   **高负载时返回 429。** 按量付费密钥每分钟允许 30 个请求，同时最多 4 个进行中的请求。Serverless 函数扩容很快，所以请在应用里限制并发。参见[错误码与重试](https://broadrouter.com/zh/guides/errors-and-retries/)。
-   **在套餐密钥上并行运行智能体。** 一个[不限量套餐会话](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)同一时间只处理一个请求。用 `Promise.all` 同时运行多个智能体，需要每个智能体一个会话，否则请求会排队。

## 本指南涉及的术语

[结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/)

结构化输出是大模型 API 的一项功能，它把模型的回复约束为开发者指定的格式（通常是 JSON Schema），让代码能可靠地解析。它比 JSON mode 更严格：JSON mode 只保证输出是合法 JSON，不保证特定结构。

[AI 智能体（AI agent）](https://broadrouter.com/zh/glossary/agent/)

AI 智能体是由语言模型自主决定步骤、朝目标推进的系统：它决定调用哪些工具、读取结果，然后重复，直到给出最终回答或触及上限。在固定位置调用模型的固定脚本，通常称为工作流（workflow）。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)

大模型包月套餐（固定价格套餐）是按一个周期（如一个月）收取固定费用、提供大模型 API 使用权的计价方式，不按 token 计费。这类套餐通常会限制别的东西，如并发、速度、模型或使用时间窗口，所以限制条件和价格同样重要。

[速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/)

速率限制是 API 对客户端在一个时间窗口内的使用量设定的上限，例如每分钟请求数或每分钟 token 数。超出限制的请求会被拒绝，通常返回 HTTP 429 Too Many Requests，直到用量回落到限制以下。

[Base URL（base\_url）](https://broadrouter.com/zh/glossary/base-url/)

base URL 是 API 固定的根地址，例如 https://api.example.com/v1，客户端会把它加在每个端点路径（例如 /chat/completions）前面。在 OpenAI 兼容 SDK 中，修改 base URL，再配合 API 密钥和模型 ID，就能让同一份代码改用另一家服务商。

[并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

[流式输出（streaming）](https://broadrouter.com/zh/glossary/streaming/)

流式输出是一种在语言模型仍在生成时，就把回复分成小块陆续返回的方式，而不是在最后一次性返回。当请求把 stream 设为 true 时，OpenAI 兼容 API 会通过服务器发送事件（SSE）进行流式输出。

## 常见问题

### 该用 @ai-sdk/openai 还是 @ai-sdk/openai-compatible？

第三方 OpenAI 兼容 API 请用 @ai-sdk/openai-compatible。它调用的是 chat completions 端点，正是 BroadNet Inference 提供的接口。

### 为什么生成的文本是空的？

在 BroadNet 上，思考内容计入 max\_tokens。如果 maxOutputTokens 太小，模型可能在开始回答之前就把它用完。调高它，或者把 reasoningEffort 设为 low。

### 流式输出时怎样拿到 token 用量？

创建提供商时把 includeUsage 设为 true。AI SDK 的文档说，它会在流式响应中加入用量数据。默认值是 false。

### 每个 BroadNet 模型都要单独配置吗？

不需要。一个 createOpenAICompatible 提供商覆盖所有模型。用任意 BroadNet 对话模型 ID 调用 broadnet('model-id') 或 broadnet.chatModel('model-id') 即可。

## 相关指南

-   [用 OpenAI Node.js SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-node-sdk/)
-   [对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/)
-   [推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [把 BroadNet Inference 添加为 opencode 的自定义供应商](https://broadrouter.com/zh/guides/opencode-custom-provider/)
-   [所有可与 BroadNet Inference 配合使用的工具（英文）](https://broadrouter.com/integrations/)：SDK、编程智能体、聊天界面和自动化工具，并附每个工具的具体设置

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-vercel-ai-sdk-openai-compatible&utm_content=page-cta) ·

**来源**

-   [AI SDK 文档：OpenAI Compatible 提供商（核对于 2026-11-14）](https://ai-sdk.dev/providers/openai-compatible-providers)
-   [AI SDK 文档：generateText 参考（核对于 2026-11-14）](https://ai-sdk.dev/docs/reference/ai-sdk-core/generate-text)
-   [npm 上的 @ai-sdk/openai-compatible 包（3.x，核对于 2026-11-14）](https://www.npmjs.com/package/@ai-sdk/openai-compatible)
-   [BroadNet Inference API 参考文档（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-vercel-ai-sdk-openai-compatible&utm_content=sources)
