BroadRouter

把 SillyTavern 接入 BroadNet Inference(自定义 OpenAI 兼容端点)

更新于

在 SillyTavern 的 API Connections 面板中选择 Chat Completion,再把 Chat Completion Source 设为 Custom (OpenAI-compatible)。Custom Endpoint 填 https://inference.broadnet.ai/v1,粘贴 BroadNet 密钥,在 Enter a Model ID 中输入模型 ID(如 broadnet/qwen3.8-27b),点击 Connect,再点 Test Message。Max Response Length 设为 1,000 token 以上。

SillyTavern(中文用户常称“酒馆”)是一个开源的聊天前端,在角色聊天和角色扮演中很受欢迎。它的 Custom (OpenAI-compatible) 来源可以把 Chat Completion API 类型连接到任何采用通用 OpenAI 格式的服务器。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供标准的对话补全。BroadRouter 是 BroadNet 自己的网站;以下步骤依据 SillyTavern 的文档及其 1.19.0 版本。

配置步骤

  1. 获取密钥。 在 BroadNet 控制台创建按量付费密钥,购买按小时计费的密钥,或者购买不限量套餐。

  2. 打开 API Connections 面板。

  3. 把 API 设为 Chat Completion。

  4. 把 Chat Completion Source 设为 Custom (OpenAI-compatible)。

  5. 填写自定义表单:

    字段 值
    Custom Endpoint (Base URL) https://inference.broadnet.ai/v1
    Custom API Key 你的 BroadNet 密钥
    Enter a Model ID broadnet/qwen3.8-27b
  6. 点击 Connect。

  7. 测试。 点击 Test Message。SillyTavern 会向模型发送一个简单的提示词;收到回复就说明连接正常。

不要在 URL 后面加 /chat/completions。SillyTavern 的表单说明这个后缀会自动加上。

请手动输入模型 ID,而不是从 Available Models 中选择。这个列表来自 /v1/models,BroadNet 的文档把它描述为供监控使用的目录元数据。我们在 2026 年 11 月 15 日查看时,它只列出了两个语音转写模型,而这两个模型不能用来聊天。

选哪个模型

模型 ID 上下文 说明
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1,048,576 长篇聊天;不限量套餐所用的模型
Qwen3.8 27B broadnet/qwen3.8-27b 262,144 支持图片;BroadNet 用阿拉伯语测试过
GLM 5.3 broadnet/glm-5.3 1,048,576 仅文本;支持工具
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32,768 可用 $5 免费额度和按小时密钥运行

不限量套餐适合长时间的会话,因为不按 token 付费:一小时 Meteor $1,一周 Orbit $15,一个月 Full Moon $60。每个套餐会话同一时间只处理一个请求。

值得修改的设置

  • Max Response Length (tokens)。 DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,思考内容计入这个上限。请设为 1,000 或更多,否则可能收到空白回复。
  • Context Size (tokens)。 按上表设为对应模型的上下文大小。SillyTavern 无法从 BroadNet 读取这个值。
  • Prompt Post-Processing。 如果模型因为有多条 system 消息或角色顺序问题而拒绝提示词,先试 Merge consecutive roles,再试 Semi-strict。SillyTavern 的文档指出,除非选择带 “with tools” 的变体,这些选项会丢弃工具调用。
  • Bypass status check。 如果 SillyTavern 提示 API 不可用,但 Test Message 能成功,就勾选这一项。

故障排查

  • 401。 密钥错误、已过期或额度已用完。重新粘贴密钥并点击 Connect。
  • 404 或 “model not found”。 URL 必须以 /v1 结尾,ID 必须包含 broadnet/ 前缀。付费模型需要先充值;$5 额度只能用于 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • 回复空白。 调高回复长度。为什么回答会是空的。
  • 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个在处理中;按小时密钥和套餐会话一次只跑一个流。参见错误码与重试。

常见问题

为什么接 BroadNet 时 Available Models 列表不对或是空的?

SillyTavern 从 /v1/models 获取这个列表。我们在 2026 年 11 月 15 日查看时,BroadNet 公开的 /v1/models 只列出了两个语音转写模型。请改为在 Enter a Model ID 中手动输入对话模型 ID。

长篇角色扮演聊天用哪个 BroadNet 模型最好?

DeepSeek V4.1 Flash 有 1,048,576 token 的上下文,也是 BroadNet 固定价格不限量套餐所用的模型。Qwen3.8 27B 是 BroadNet 用阿拉伯语测试过的模型,包括海湾方言和埃及方言。

SillyTavern 里为什么回复是空白的?

除 Gemma 4 VL 26B 外,BroadNet 的对话模型都会先思考再回答,而思考内容计入 max_tokens。SillyTavern 的 Max Response Length 设置的就是这个上限,请调到 1,000 token 以上。

有内容方面的规定吗?

有。BroadNet 的可接受使用政策适用于通过 API 发送的所有内容,并且在禁止涉及未成年人的色情内容这一条中,明确包括虚构和合成内容。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity