BroadRouter

通过 OpenAILike 在 LlamaIndex 中使用 BroadNet Inference

更新于

安装 llama-index-llms-openai-like,创建 OpenAILike:model 设为 BroadNet 模型 ID(例如 broadnet/glm-5.3),api_base 设为 https://inference.broadnet.ai/v1,填入 BroadNet 密钥,context_window 设为模型的真实上下文长度,is_chat_model=True,仅在 GLM 5.3 或 Qwen3.8 27B 上设置 is_function_calling_model=True。把它设为 Settings.llm 即可全局使用。

LlamaIndex 是一个用于 RAG 和智能体的 Python 框架。对于不是 OpenAI 本身的 OpenAI 兼容 API,它提供了 OpenAILike 类。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供标准的 chat completions。BroadRouter 是 BroadNet 自己的网站;本文依据的是 llama-index-llms-openai-like 0.9.0 的 LlamaIndex API 参考。

安装

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

连接并测试

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

打印出回答,就说明密钥、URL 和模型 ID 都没问题。

最关键的四个参数

参数 设为 不设置时的默认值
is_chat_model True False,会使用旧版 completions 端点;BroadNet 提供的是 chat completions
context_window 模型的真实上下文长度 3,900 token
is_function_calling_model 仅 GLM 5.3 或 Qwen3.8 27B 设为 True False
max_tokens 1,000 或更高 None(不发送,由服务器决定)

is_chat_model 最重要。API 参考说它“controls whether the model uses the chat or completion endpoint”(译文:控制模型使用 chat 端点还是 completion 端点),默认为 false。BroadNet 的文档列出的是 /v1/chat/completions,而不是旧版 completions 端点。

在整个应用中使用

from llama_index.core import Settings

Settings.llm = llm

这样查询引擎、聊天引擎和智能体都会使用 BroadNet。embedding 是另一回事:BroadNet 的 API 参考文档没有列出 embeddings 端点,所以建索引时请保留另一个 embedding 模型。

上下文窗口

模型 ID context_window 工具
GLM 5.3 broadnet/glm-5.3 1048576 支持
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 未列出
Qwen3.8 27B broadnet/qwen3.8-27b 262144 支持
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 未列出

1M token 的上下文让查询引擎每次调用可以传入多得多的检索文本块。但这并不总是更好;参见长上下文还是 RAG。

故障排查

  • 401。 密钥错误、已过期,或者额度已用完。
  • 404。 api_base 必须以 /v1 结尾,is_chat_model 必须为 True。然后检查模型 ID。付费模型需要先充值;$5 初始额度只覆盖 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • 回答为空。 输出预算被思考用光了。调高 max_tokens。为什么回答会是空的。
  • 智能体从不调用工具。 设置 is_function_calling_model=True,并使用 broadnet/glm-5.3 或 broadnet/qwen3.8-27b。
  • 数据导入或批量查询时出现 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。OpenAILike 默认重试 3 次(max_retries)。参见错误码与重试。

常见问题

为什么不直接用 LlamaIndex 的 OpenAI 类再改 api_base?

LlamaIndex 自己的 OpenAI 页面说,凡是不是 OpenAI 官方 API 的 OpenAI 兼容 API,都应使用 OpenAILike 集成。OpenAILike 还允许你自己声明上下文窗口和工具支持。

不设置 context_window 会怎样?

OpenAILike 默认是 3,900 token,于是 LlamaIndex 会把提示词和检索到的文本块裁剪到远低于 BroadNet 模型可接受的长度。GLM 5.3 和 DeepSeek V4.1 Flash 设为 1048576,Qwen3.8 27B 设为 262144。

LlamaIndex 的 FunctionAgent 能用 BroadNet 吗?

可以,前提是在 BroadNet 列出了工具的模型(GLM 5.3 或 Qwen3.8 27B)上设置 is_function_calling_model=True。DeepSeek V4.1 Flash 请保持 False,BroadNet 的文档没有为它列出工具调用。

BroadNet 能为 LlamaIndex 索引提供 embedding 吗?

BroadNet 的 API 参考文档列出的是 chat completions 和音频转写,没有 embedding。索引请使用单独的 embedding 模型,LLM 则用 BroadNet。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity