OpenAI 兼容 API 接受与 OpenAI API 相同的请求格式,所以只要改掉 base_url 和 API key,官方 OpenAI SDK 就能直接用。麻烦在于,每家服务商的端点位置都略有不同。下表列出 14 家,每一家都是我们在 2026 年 11 月 15 日从服务商自己的文档中读取的。
各家 OpenAI 兼容服务商的 base URL 是什么?
| 服务商 | Base URL | OpenAI 兼容文档列出的内容 | 文档中写明的差异 |
|---|---|---|---|
| OpenAI | https://api.openai.com/v1 |
全部;它就是参照标准 | 什么都不设置时的 SDK 默认值 |
| Anthropic | https://api.anthropic.com/v1/ |
对话补全 | “Primarily intended to test and compare model capabilities”(译文:主要用于测试和比较模型能力);忽略 strict;音频和文件输入返回 400 |
| Google Gemini | https://generativelanguage.googleapis.com/v1beta/openai/ |
对话补全、embeddings、图像生成、models、batch | OpenAI 库支持 “still in beta”(译文:仍处于 beta 阶段);未列出 Responses API |
| DeepSeek | https://api.deepseek.com |
对话补全 | 没有版本路径;另有 Anthropic 格式的地址 /anthropic |
| Groq | https://api.groq.com/openai/v1 |
对话补全、Responses API;另有音频转写说明 | logprobs、logit_bias、top_logprobs、messages[].name 返回 400;n 必须为 1;不支持 srt 或 vtt 格式的转写 |
| Together AI | https://api.together.ai/v1 |
对话、补全、图像、语音合成、转写、models、Responses | 仅限美国的推理地址为 https://us-api.together.ai/v1;embeddings 仅在专用端点上提供 |
| Fireworks AI | https://api.fireworks.ai/inference/v1 |
对话补全 | 模型 ID 形如 accounts/fireworks/models/…;默认会把 max_tokens 调低以适应上下文,而不是报错,除非另行指定 |
| DeepInfra | https://api.deepinfra.com/v1/openai |
对话补全;Responses 客户端使用同一个 base | embeddings、图像和语音在另一个页面中说明 |
| Mistral AI | https://api.mistral.ai/v1 |
POST /v1/chat/completions |
其 API 参考并未自称 OpenAI 兼容;依赖它之前先测试 |
| OpenRouter | https://openrouter.ai/api/v1 |
对话补全 | 可选的 HTTP-Referer 和 X-OpenRouter-Title 请求头,用于其排行榜 |
| xAI | https://api.x.ai/v1 |
Responses API | 其指南写道 “The Responses API is the preferred way of interacting with our models”(译文:Responses API 是与我们的模型交互的首选方式) |
| Z.ai(GLM) | https://api.z.ai/api/paas/v4/ |
对话补全 | 路径是 v4,不是 v1 |
| 阿里云百炼(Model Studio) | https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1(新加坡) |
对话补全 | 主机名中包含 Workspace ID;密钥只能在创建它的地域使用,否则返回 401 |
| BroadNet Inference | https://inference.broadnet.ai/v1 |
对话补全、音频转写 | 模型 ID 以 broadnet/ 开头;详见下文 |
阿里云还列出了位于 us-east-1 的美国(弗吉尼亚)端点。同一页面上北京那一行显示的却是新加坡的主机名,而页面其他文字提到的是 cn-beijing,所以中国内地端点请在控制台中确认。这张表只是一个时间点的快照。端点会变:我们核对时,Anthropic 和 Google 的文档都重定向到了新地址。
各服务商的价格,请看 各服务商大模型 API 价格 页面。
在代码里怎么设置 base URL?
在 Python 中,把 base_url 传给客户端:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
r = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Say hello in one line."}],
)
print(r.choices[0].message.content)
在 Node 中,选项名是 baseURL:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://inference.broadnet.ai/v1",
apiKey: process.env.BROADNET_API_KEY,
});
也可以一次设置好,让所有使用官方 SDK 的工具都生效。Node SDK 的源码中,baseURL 默认取 process.env['OPENAI_BASE_URL'],没有时再用 https://api.openai.com/v1;Python 的 README 也说明了同一个变量:
export OPENAI_BASE_URL="https://inference.broadnet.ai/v1"
export OPENAI_API_KEY="your-key"
完整步骤:OpenAI Python SDK、OpenAI Node SDK。什么是 base URL、为什么各种工具都要你填它,请看术语表。
怎么用 curl 测试新的 base URL?
改动任何应用代码之前,先发一个最小的请求:
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "broadnet/gemma-4-26b-a4b", "messages": [{"role": "user", "content": "ping"}], "max_tokens": 20}'
把 base URL、密钥和模型换成你要测试的服务商。返回 200 且带有 choices 数组,说明路径、密钥和模型 ID 都没问题。404 通常是路径错了;401 是密钥或地域不对;400 往往会写明服务商不接受哪个参数。curl 快速入门里有更多示例,API 请求生成器可以帮你写出 curl、Python 和 Node 三种版本。
修改 base_url 时常见的错误有哪些?
- **粘贴了完整的端点。**SDK 会自动拼接
/chat/completions。如果 base URL 已经以它结尾,就会变成/chat/completions/chat/completions,返回 404。 - **习惯性地加上或去掉
/v1。**DeepSeek 文档中的 base 没有/v1,Z.ai 的以/v4/结尾,Gemini 的以/v1beta/openai/结尾。照抄服务商给出的原样字符串。 - 继续用 OpenAI 的模型名。
gpt-…这类名字在别处会失败。每家服务商都有自己的格式:DeepInfra 上是deepseek-ai/DeepSeek-V4-Flash-0731,Fireworks 上是accounts/fireworks/models/…,BroadNet 上是broadnet/deepseek-v4.1-flash。 - **发送服务商拒绝或忽略的参数。**Groq 遇到
logprobs返回 400;Anthropic 的兼容层会悄悄忽略seed、logit_bias和reasoning_effort。被悄悄忽略的参数比报错更糟,因为没有任何提示。 - **以为响应字段都一样。**Anthropic 的兼容层返回空的
prompt_tokens_details,所以拿不到缓存 token 的统计。Fireworks 把流式输出的用量放在最后一个数据块里,SDK 的类型定义里可能没有声明。 - 以为每个端点都存在。“OpenAI 兼容”通常指的是对话补全。embeddings、音频、图像生成和 Responses API 要分别确认,正如上表所示。
- **混用地域。**阿里云的密钥绑定地域,Together 另有一个仅限美国的主机。有效的密钥用在错误的主机上,照样会失败。
切换前的完整清单见 OpenAI 兼容迁移清单。
BroadNet Inference 支持哪些端点?
BroadNet 的 API 参考在 https://inference.broadnet.ai/v1 上列出了两个模型端点,另有用于获取目录元数据的 GET /v1/models:
| 端点 | 模型 |
|---|---|
POST /v1/chat/completions |
DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B、BroadNet Gemma 4 VL 26B |
POST /v1/audio/transcriptions |
BroadNet Transcribe Arabic、BroadNet Transcribe(14 种语言) |
这在实际使用中意味着:
- **文档中没有 embeddings、图像生成或 Responses API。**如果某个工具必须用到其中之一,这部分就需要另找一家服务商。
- 工具调用和结构化输出在文档中列给了 GLM 5.3 和 Qwen3.8 27B。
- 图像以
data:URL 的形式放在image_url内容块中传入,适用于 DeepSeek V4.1 Flash、Qwen3.8 27B 和 Gemma 4 VL 26B。 - 思考模型(DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B)的思考内容计入
max_tokens。按文档建议,预留 1,000 个 token 以上,或把reasoning_effort设为low;参见为什么思考模型会返回空回答。 - **模型列表有响应:**我们在 2026 年 11 月 15 日调用
GET /v1/models时得到了返回,但它不在文档列出的端点中,所以不要依赖它。 - **限制:**按量付费密钥每分钟 30 个请求,同时最多 4 个请求。
每百万 token 价格:DeepSeek V4.1 Flash 输入 $0.175、输出 $0.52,Gemma 4 VL 26B 输入 $0.10、输出 $0.22。DeepSeek V4.1 Flash 还有固定价格套餐,每个会话每月 $60,同一时间一个请求。
要不要把多家服务商统一到一个 base URL 后面?
如果你的应用要调用上面好几家服务商,可以用 LiteLLM 这样的代理:你的代码只面对一个 base URL,由代理把模型名映射到各个上游。映射关系由你决定;除非你自己配置了故障转移,否则不会有任何东西替你切换服务商。大模型 API 故障转移介绍了在客户端或 LiteLLM 中如何实现。LiteLLM 代理指南给出了 BroadNet 的配置条目。关于这个术语的背景,请看 OpenAI 兼容 API。
BroadNet Inference 适合什么场景
如果你的代码已经在用对话补全接口,又想在一个密钥上使用开源模型、阿拉伯语和多语言语音转文字,或者固定价格的 DeepSeek 会话,BroadNet 很合适。如果你需要从同一家服务商获得 embeddings、Responses API 或图像生成,它就不合适;Together AI 和 Gemini 的文档覆盖了更多 OpenAI 接口。上线前请对照各服务商的文档核对我们的表格,因为这些 URL 和端点列表都会变。
