BroadRouter

用 LiteLLM 路由到 BroadNet Inference(SDK 与代理)

更新于

在 LiteLLM 中,给 BroadNet 模型 ID 加上 openai/ 前缀,例如 openai/broadnet/glm-5.3,把 api_base 设为 https://inference.broadnet.ai/v1,api_key 填你的 BroadNet 密钥。在代理中,把同样的值写进 config.yaml 的 litellm_params 下,并给模型取一个简短的 model_name。

LiteLLM 以 Python SDK 和代理服务器两种形式,为许多大模型服务商提供统一的接口。要接入 OpenAI 兼容 API,它的文档说要做两件事:在模型名前加上 openai/,并设置 api_base。BroadNet Inference 走的就是这条路由。

1. Python SDK

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

代码里的英文注释意思是:思考内容计入这个上限。

openai/ 用来选择路由;LiteLLM 发给 BroadNet 的是 broadnet/glm-5.3。不要在 base URL 后面加任何东西,LiteLLM 的 OpenAI 客户端会自己加上端点路径。

LiteLLM 的文档提到,openai 路由使用的是官方 OpenAI Python 库,每个请求都需要 API 密钥。请像上面那样显式传入 api_key,这样 LiteLLM 就不会退回去使用原本给 OpenAI 用的 OPENAI_API_KEY。响应以 OpenAI 的格式返回,所以其余代码无需改动。

什么时候用代理

在单个 Python 应用里,SDK 就够了。当多个应用或多种语言需要同一批模型时,代理就派上用场:它们都用简短的模型名调用同一个 OpenAI 风格的端点,由代理保管 BroadNet 密钥、执行速率限制并记录用量。这样你的应用完全不需要任何 BroadNet 专属的设置。

2. 代理服务器

安装代理所需的额外依赖,并编写 config.yaml:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

启动代理,然后像调用任何 OpenAI 端点一样调用它:

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

(代码中的注释表示:在第二个终端里运行。)os.environ/BROADNET_API_KEY_GLM 告诉 LiteLLM 从环境变量读取这个密钥。每个条目使用各自的 BroadNet 按量付费密钥,所以 rpm: 30(LiteLLM 可选的按部署速率限制)正好对应每个密钥的限额。如果多个条目共用一个密钥,它们共享同一个限额,所以要把这个数字在它们之间分配。master_key 让代理对每次调用都要求提供密钥;LiteLLM 的文档说它必须以 sk- 开头。启动代理之前,请先导出 LITELLM_MASTER_KEY。

选哪个模型

model_name BroadNet 模型 用途
glm GLM 5.3 工具、结构化输出、1M 上下文
deepseek-flash DeepSeek V4.1 Flash 长上下文;不限量套餐使用的模型
qwen Qwen3.8 27B 图片、工具、阿拉伯语
(按需添加) Gemma 4 VL 26B 每 token 价格低;可用 $5 额度调用

价格见价格页面。如果你是从其他网关迁移过来,迁移检查清单列出了需要测试的内容。

故障排查

  • 401。 BroadNet 密钥错误、已过期,或者按量付费额度已用完。如果 401 来自代理本身,请检查你发送的 LiteLLM 密钥。
  • Not Found。 确认 api_base 是带 /v1 的 https://inference.broadnet.ai/v1。如果 base URL 没问题,再检查 openai/ 之后的模型 ID 是否与 BroadNet 的完全一致。
  • 新账号上模型被拒绝。 GLM 5.3、Qwen3.8 27B 和 DeepSeek V4.1 Flash 需要先充值;$5 额度只覆盖 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • content 为空。 思考内容计入 max_tokens。调高它,或者发送 reasoning_effort="low"。为什么回答会是空的。
  • 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。LiteLLM 的 rpm 能解决前一个限制;后一个则要把每个密钥上的并发调用方控制在 4 个以内。参见错误码与重试。
  • 在套餐密钥上并行运行智能体。 一个套餐会话同一时间只处理一个请求。通过代理在一个会话上运行多个智能体,它们会排队;每个并行的智能体买一个会话。

常见问题

LiteLLM 为什么返回 Not Found 错误?

LiteLLM 的文档要求 api_base 以 /v1 结尾。请使用 https://inference.broadnet.ai/v1,不要再加 /chat/completions。

模型名为什么是 openai/broadnet/glm-5.3?

openai/ 前缀告诉 LiteLLM 去调用 OpenAI 风格的 /chat/completions 端点。LiteLLM 用这个前缀选择路由,然后把剩下的部分 broadnet/glm-5.3 发出去,这正是 BroadNet 的模型 ID。

可以把 BroadNet 不限量套餐密钥放在共享的 LiteLLM 代理后面吗?

套餐密钥不能共享或转售,而且一个会话同一时间只处理一个请求。请把它用于你自己的智能体。团队共用的代理请使用按量付费密钥。

LiteLLM 调用 BroadNet 需要 OPENAI_API_KEY 吗?

openai 路由的每个请求都需要一个密钥,来自 api_key 或 OPENAI_API_KEY。请把 BroadNet 密钥作为 api_key 传入,在代理里则写 os.environ/BROADNET_API_KEY,这样 LiteLLM 就不会把真正的 OpenAI 密钥发给 BroadNet。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity