“我们该用哪个模型?” 是第二个问题。第一个问题是:“输入是什么,输出要是什么?” 一张发票照片、一条客户的语音消息和一个打字输入的问题,各自要发往不同类型的端点,而每个端点都有自己的模型、限制和失败方式。先确定任务,模型清单就会缩小到两三个。
本指南先把常见任务对应到输入类型,再对应到 BroadNet Inference 为每种类型提供的文档说明。BroadRouter 是 BroadNet 自己的网站;下面的模型信息来自 BroadNet 的价格数据和 API 参考,查阅日期为 2026 年 11 月 15 日。
你的任务需要哪种输入类型?
| 你的任务 | 输入 | 输出 | 端点 | BroadNet 模型 |
|---|---|---|---|---|
| 回答、总结、分类或翻译文本 | 文本 | 文本 | Chat completions | 四个对话模型中任意一个 |
| 调用你自己的函数或工具 | 文本 | 工具调用 | Chat completions | GLM 5.3、Qwen3.8 27B(有文档记载) |
| 读取照片、扫描件、截图或表单 | 图片 + 文本 | 文本或 JSON | 带图片的 chat completions | DeepSeek V4.1 Flash、Qwen3.8 27B、Gemma 4 VL 26B |
| 把录音或语音消息转成文字 | 音频文件 | 文本 | 音频转写 | Transcribe Arabic、Transcribe(14 种语言) |
| 总结一通电话或回复一条语音消息 | 音频文件 | 文本 | 先转写,再对话 | 各用一个 |
| 把回答朗读出来 | 文本 | 音频 | 文本转语音 | 不提供 |
| 进行实时语音对话 | 音频流 | 音频 | 实时语音 | 不提供 |
| 生成图片 | 文本 | 图片 | 图像生成 | 不提供 |
| 对文档做语义搜索 | 文本 | 向量 | Embeddings | 不提供 |
表中的 “视觉” 指图像理解:模型读取你发送的图片,而不是生成图片。两者的区别见词汇表中的视觉语言模型条目。
对话和转写有什么区别?
它们是不同的端点,请求格式、计费单位和模型都不一样。
对话(POST /v1/chat/completions)以 JSON 形式接收消息列表,返回文本。按 token 计费,输入和输出分开计价,每个模型都有一个同时容纳提示词和回答的上下文窗口。在 BroadNet 上,四个对话模型中有三个会先思考(reasoning)再回答,而思考内容计入 max_tokens,所以要留出余量(思考 token 与空回答)。
转写(POST /v1/audio/transcriptions)以 multipart 上传的方式接收音频文件,返回转写文本。按音频分钟计费。BroadNet 的文档规定格式为 WAV 或 MP3,每个文件最大 26,214,400 字节,并说明始终要传入 language,否则阿拉伯语可能会被音译成拉丁字母返回。
| 模型 | 语言 | 价格 |
|---|---|---|
| BroadNet Transcribe Arabic | 阿拉伯语:按 BroadNet 的说法,涵盖海湾、埃及、黎凡特、马格里布方言和现代标准阿拉伯语 | 每分钟 $0.0042(每小时约 $0.25) |
| BroadNet Transcribe | 14 种,包括英语、西班牙语、法语、普通话和阿拉伯语 | 每分钟 $0.002(每小时约 $0.12) |
BroadNet 上的对话模型不接收音频,转写模型也不回答问题。用文字回复的语音助手需要两次调用:先转写,再对话。用录音生成阿拉伯语会议纪要搭建的正是这条链路。
哪些模型接受图片?
价格数据中 modalities 列有 image 的模型。截至 2026 年 11 月 15 日:
| 模型 | 输入 | 上下文 | 每 1M token 输入 / 输出 | 使用条件 |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 文本、图片 | 1,048,576 | $0.175 / $0.52 | 需要充值 |
| Qwen3.8 27B | 文本、图片 | 262,144 | $0.175 / $2.17 | 需要充值 |
| Gemma 4 VL 26B | 文本、图片 | 32,768 | $0.10 / $0.22 | $5 初始额度 |
| GLM 5.3 | 仅文本 | 1,048,576 | $0.78 / $3.46 | 需要充值 |
把图片以 data: URL 的形式放进消息内容中发送,并写对 MIME 类型。BroadNet 的文档说,视觉功能 “only where the model row explicitly says images or vision”(译文:仅在模型条目明确写有 images 或 vision 时提供)。文档没有列出接受的图片格式,所以你打算接受的每种格式都要测试。使用按量付费的密钥时,图片按输入 token 计费,图片越大用量越多;发送前先缩小尺寸,并用图片 token 计算器估算。完整的文档提取流程见用视觉大模型从文档中提取数据。
在代码里怎样为每种输入选择路由?
下面这个函数根据文件类型选择端点,在发送前检查文档规定的限制,并从实时价格数据中读取支持图片的模型列表,而不是写死在代码里。它使用 OpenAI Python SDK,只要改一下 base URL 就能用于 BroadNet(配置指南)。
import base64, json, mimetypes, os, urllib.request
from pathlib import Path
from openai import OpenAI
client = OpenAI(base_url=os.environ.get("BROADNET_BASE_URL", "https://inference.broadnet.ai/v1"),
api_key=os.environ["BROADNET_API_KEY"])
feed = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json", timeout=30))
live = [m for m in feed["models"] if m.get("status", "live") == "live"]
VISION = {m["id"] for m in live if "image" in m.get("modalities", [])}
AUDIO_TYPES = {"audio/wav", "audio/x-wav", "audio/mpeg"} # WAV or MP3, per the docs
AUDIO_MAX = 26_214_400 # bytes per file, per the docs
IMAGE_TYPES = {"image/jpeg", "image/png", "image/webp"} # your allow-list; test each one
def run(task: str, path: str | None = None, *, chat_model="broadnet/gemma-4-26b-a4b",
stt_model="broadnet/cohere-transcribe-arabic", language="ar") -> str:
kind = mimetypes.guess_type(path)[0] if path else None
if kind is None: # text only
r = client.chat.completions.create(model=chat_model, max_tokens=1500,
messages=[{"role": "user", "content": task}])
return r.choices[0].message.content
if kind in AUDIO_TYPES or kind.startswith("audio/"):
if kind not in AUDIO_TYPES:
raise ValueError(f"{kind}: convert first, e.g. ffmpeg -i in.ogg -ar 16000 -ac 1 out.wav")
if Path(path).stat().st_size > AUDIO_MAX:
raise ValueError("over 26,214,400 bytes: split the audio before sending")
with open(path, "rb") as f: # step 1: speech to text
text = client.audio.transcriptions.create(model=stt_model, file=f, language=language).text
return run(f"{task}\n\nTranscript:\n{text}", chat_model=chat_model) if task else text
if kind in IMAGE_TYPES:
if chat_model not in VISION:
raise ValueError(f"{chat_model} takes no images here; pick one of {sorted(VISION)}")
data = base64.b64encode(Path(path).read_bytes()).decode()
r = client.chat.completions.create(model=chat_model, max_tokens=1500, messages=[{"role": "user",
"content": [{"type": "text", "text": task},
{"type": "image_url", "image_url": {"url": f"data:{kind};base64,{data}"}}]}])
return r.choices[0].message.content
raise ValueError(f"unsupported input type {kind}")
我们把 BROADNET_BASE_URL 指向本地模拟服务器(没有调用真实 API),并使用实时价格数据做了测试。文本、一个 WAV 文件、一个带后续任务的 WAV 文件和一个 PNG,都到达了正确的模拟端点。用 chat_model="broadnet/glm-5.3" 发送 PNG 时,在发出任何请求之前就被拒绝,并列出了价格数据中三个支持图片的 ID。.ogg 文件被拒绝,同时给出了转换用的 ffmpeg 命令;这一步见转写 WhatsApp 语音消息。超过大小上限的录音需要切分;音频切分工具可以生成 ffmpeg 命令。
如果文档本来就是文本呢?
那就别发它的图片。从会计系统或文字处理软件导出的 PDF 通常带有文本层;用 PDF 库把文本提取出来,发给对话模型即可。使用按量付费的密钥时,这比发图片便宜,能避免误读,而且 GLM 5.3 也能处理。视觉功能留给扫描件、手机照片、手写体、印章和截图这些没有文本层可提取的情况。
文档流水线中一条实用的规则:先尝试提取文本,检查它是否返回了真正的文本(而不是空白页或乱码),只有不行时才退回到图片。对于阿拉伯语 PDF,在信任提取结果之前先读一段样本:取决于 PDF 的生成方式,提取出的阿拉伯字母可能顺序错乱,或者是未连写的表现形式(presentation forms)。哪些情况下图片是更好的来源,见用视觉大模型做阿拉伯语 OCR。
成本怎么比较?
每种输入类型都有自己的计费单位,所以要按任务而不是按请求比较:
- 文本按输入和输出 token 计费。同样的内容,阿拉伯语往往比英语需要更多 token;阿拉伯语 token 计数器可以测量。
- 图片在按量付费时按模型输入价格计为输入 token,所以一张大照片可能比一页文字还贵。在 DeepSeek 会话套餐中,图片包含在固定价格里。
- 音频按音频分钟计费,与说了什么无关。在 BroadNet 上,用阿拉伯语模型转写 10,000 条每条 30 秒的阿拉伯语语音消息,费用约为 $21.00。其他用量可以用语音转文字成本计算器计算。
链路的成本是各部分之和:由对话模型回复的一条语音消息,费用是转写分钟数,加上转写文本和回答的对话 token。对话部分可以用大模型 API 成本计算器计算。
哪些功能不提供,应该怎么替代?
BroadNet 的 API 参考记载了两个推理端点:chat completions 和音频转写。所以没有:
- 文本转语音。 没有
/v1/audio/speech。如果你的产品必须用语音回应,就把 BroadNet 的转写和对话与另一个 TTS 服务搭配使用。 - 实时语音。 转写接收的是上传的文件,而不是实时音频流。如果电话智能体需要在通话中途回应,你需要在别处搭建实时语音技术栈。录制浏览器音频用于转写介绍了基于文件的替代方案。
- 图像生成。 这里的视觉是读取图片,不是创建图片。
- Embeddings。 没有
/v1/embeddings。做检索需要其他服务商的或自行部署的 embedding 模型;embedding 成本计算器可以比较价格。
BroadNet 的研究目录确实列出了文本转语音、图像生成和 embedding 模型,标注为在其实验室中做过基准测试。这记录的是 BroadNet 测试过什么,而不是它的 API 卖什么;两者的区别见如何解读模型目录。
为什么每种输入都需要单独的评测集?
因为每种输入类型的失败方式不同,把它们混在一起取平均会掩盖失败。
- 文本: 用真实的用户消息打分,尽可能用代码检查。方法见切换大模型前如何评估。
- 图片: 使用真实质量的真实照片:斜着拍的手机照片、褪色的收据、盖在文字上的印章。每个字段单独打分。干净的 PDF 渲染图得分会远高于用户实际发来的照片。
- 语音: 在你自己的录音上测量词错误率,按方言、说话人和线路质量分开统计,并单独检查关键的词(姓名、数字、金额)。见阿拉伯语 ASR 的 WER 详解。
- 链路: 当语音输入要交给对话模型时,两个步骤和最终结果都要打分。一个听错的数字会变成一个自信的错误回答,只有端到端测试才能看出这种情况有多频繁。
各个评测集要分开保存、做版本管理,每次更换模型或提示词时,重新运行相应的那一个。
BroadNet Inference 的定位
BroadNet Inference 用一个密钥和一个 base URL 覆盖了任务表的前五行:文本对话、GLM 5.3 和 Qwen3.8 27B 上的工具调用、三个模型上的图像理解,以及阿拉伯语或多语言转写。Gemma 4 VL 26B 和两个转写模型可以使用 $5 初始额度;DeepSeek、GLM 和 Qwen 需要充值。推理内容不会被保留;必要的账户、计费和安全元数据按 BroadNet 隐私声明所述保留。语音朗读、图像生成、实时语音或 embeddings,请使用其他服务。上述所有价格见价格页面。
