BroadRouter

在 CrewAI 中把 BroadNet Inference 用作自定义 OpenAI 端点

更新于

用 crewai 的 LLM 类创建模型:model 设为 BroadNet 模型 ID(例如 broadnet/glm-5.3),custom_openai=True,base_url 设为 https://inference.broadnet.ai/v1,api_key 填你的 BroadNet 密钥,再把这个 LLM 交给每个 Agent。CrewAI 使用原生 OpenAI 客户端和 chat completions,无需安装 LiteLLM。

CrewAI 是一个用于构建多智能体团队的 Python 框架。它的文档给出了一种自定义 OpenAI 兼容端点的写法:一个带 custom_openai=True 和 base_url 的 LLM。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供标准的 chat completions,所以可以直接接入。BroadRouter 是 BroadNet 自己的网站;本文依据 CrewAI 1.15.41 版本的文档和源码。

安装

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

连接

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

如果 llm.call 打印出了回答,说明密钥、URL 和模型 ID 都没问题。

CrewAI 如何路由请求

CrewAI 的源码规定了一个顺序:custom_openai=True 优先,强制使用原生 OpenAI 提供商,覆盖模型名暗示的任何提供商。除非通过 base_url、api_base、OPENAI_BASE_URL 或 OPENAI_API_BASE 设置了自定义端点,否则它还会报错。模型字符串按原样发送,所以 broadnet/glm-5.3 会原封不动地到达 BroadNet。

如果不加 custom_openai,broadnet/glm-5.3 这样的名字会被解读为提供商 broadnet,而 CrewAI 不认识它,于是会退回到 LiteLLM。文档中的另一种写法是 model="openai/broadnet/glm-5.3" 加上 base_url:CrewAI 去掉 openai/ 前缀,把剩下的部分发出去。

从 CrewAI 的代码和文档中还能看出两点:

  • token 上限字段。 传入 max_tokens 时,原生客户端在 chat completions 请求中发送 max_tokens,也就是 BroadNet API 参考文档中描述的字段。如果传入 max_completion_tokens,发送的就是它。
  • 保持使用 chat completions。 CrewAI 的文档展示了用 api="responses" 切换到 Responses API。不要设置它;BroadNet 没有列出这个 API。

哪个智能体用哪个模型

智能体 模型 原因
带工具的智能体 broadnet/glm-5.3 BroadNet 列出了工具和结构化输出;1M 上下文
图片或阿拉伯语输入,带工具 broadnet/qwen3.8-27b 工具加图片;262K 上下文
长文本阅读任务,固定价格套餐 broadnet/deepseek-v4.1-flash 不限量套餐;BroadNet 未列出工具支持

一个 crew 可以混用这些模型:给每个 Agent 配置各自的 LLM。

故障排查

  • 401。 密钥错误、已过期或额度用完。如果没传 api_key,CrewAI 会读取 OPENAI_API_KEY,里面可能是 OpenAI 的密钥。
  • “custom_openai=True requires base_url”。 传入 base_url,或者设置 OPENAI_BASE_URL。
  • 找不到模型。 检查 ID 是否与 BroadNet 的完全一致。付费模型需要先充值;$5 额度只覆盖 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • EmptyLLMResponseError。 CrewAI 遇到空回答会重试一次,然后抛出这个错误。调高 max_tokens。为什么回答会是空的。
  • 多个智能体时出现 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求;一个套餐会话同一时间只处理一个请求。参见错误码与重试。

常见问题

CrewAI 里的 custom_openai=True 有什么作用?

CrewAI 的源码表明,它会强制使用原生 OpenAI 提供商,不管模型名看起来像什么;并且要求设置 base_url、api_base、OPENAI_BASE_URL 或 OPENAI_API_BASE 之一。模型字符串按原样发送,所以 broadnet/glm-5.3 会原封不动地到达 BroadNet。

可以改写成 model="openai/broadnet/glm-5.3" 吗?

可以。设置了自定义 base_url 时,CrewAI 会把带 openai/ 前缀的模型交给原生 OpenAI 客户端并去掉前缀,BroadNet 收到的是 broadnet/glm-5.3。custom_openai=True 的写法更清楚。

我的 crew 为什么报 EmptyLLMResponseError?

模型返回空回答(既没有内容也没有工具调用)时,CrewAI 会重试一次;如果重试仍为空,就抛出这个错误。在 BroadNet 的思考模型上,这通常意味着思考用完了输出额度。请调高 max_tokens。

CrewAI 智能体该用哪个 BroadNet 模型?

带工具的智能体用 GLM 5.3,因为 BroadNet 为它列出了工具和结构化输出。Qwen3.8 27B 也支持工具,并且能接收图片。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity