---
title: "文本、语音还是视觉 AI：按任务而不是按模型选 | BroadRouter"
description: "按任务选择文本对话、图片输入或音频转写，附 BroadNet 文档列出的模型与限制，以及它不提供的功能，例如 TTS。"
url: https://broadrouter.com/zh/blog/text-speech-vision/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/text-speech-vision/)（2026-11-15 更新）。

# 文本、语音还是视觉？先从任务出发

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于 2026-11-15

从输入和输出出发。输入文本、输出文本，就是对话。输入照片或扫描件、输出文本，就是在支持图片的模型上带图对话。输入录音、输出文本，就是转写；从语音得到回答，就是先转写再对话。BroadNet 不提供文本转语音、图像生成或 embeddings。

## 要点

-   先确定输入类型。它决定了端点，端点又决定了你能用哪些模型。
-   在 BroadNet 上，有三个对话模型接受图片（DeepSeek V4.1 Flash、Qwen3.8 27B、Gemma 4 VL 26B）；GLM 5.3 只支持文本。
-   语音发送到 /v1/audio/transcriptions，格式为 WAV 或 MP3，文件最大 26,214,400 字节。始终要传入语言。
-   BroadNet 不提供文本转语音、实时语音、图像生成或 embeddings 端点。如果需要，请规划第二家服务商。
-   为每种输入类型单独建立评测集；当语音输入要接着交给对话模型时，再为整条链路建一个。

**本页内容**

1.  你的任务需要哪种输入类型？
2.  对话和转写有什么区别？
3.  哪些模型接受图片？
4.  在代码里怎样为每种输入选择路由？
5.  如果文档本来就是文本呢？
6.  成本怎么比较？
7.  哪些功能不提供，应该怎么替代？
8.  为什么每种输入都需要单独的评测集？
9.  BroadNet Inference 的定位

“我们该用哪个模型？” 是第二个问题。第一个问题是：“输入是什么，输出要是什么？” 一张发票照片、一条客户的语音消息和一个打字输入的问题，各自要发往不同类型的端点，而每个端点都有自己的模型、限制和失败方式。先确定任务，模型清单就会缩小到两三个。

本指南先把常见任务对应到输入类型，再对应到 BroadNet Inference 为每种类型提供的文档说明。BroadRouter 是 BroadNet 自己的网站；下面的模型信息来自 BroadNet 的[价格数据](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-text-speech-vision&utm_content=body)和 [API 参考](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-text-speech-vision&utm_content=body)，查阅日期为 2026 年 11 月 15 日。

## 你的任务需要哪种输入类型？

| 你的任务 | 输入 | 输出 | 端点 | BroadNet 模型 |
| --- | --- | --- | --- | --- |
| 回答、总结、分类或翻译文本 | 文本 | 文本 | Chat completions | 四个对话模型中任意一个 |
| 调用你自己的函数或工具 | 文本 | 工具调用 | Chat completions | GLM 5.3、Qwen3.8 27B（有文档记载） |
| 读取照片、扫描件、截图或表单 | 图片 + 文本 | 文本或 JSON | 带图片的 chat completions | DeepSeek V4.1 Flash、Qwen3.8 27B、Gemma 4 VL 26B |
| 把录音或语音消息转成文字 | 音频文件 | 文本 | 音频转写 | Transcribe Arabic、Transcribe（14 种语言） |
| 总结一通电话或回复一条语音消息 | 音频文件 | 文本 | 先转写，再对话 | 各用一个 |
| 把回答朗读出来 | 文本 | 音频 | 文本转语音 | 不提供 |
| 进行实时语音对话 | 音频流 | 音频 | 实时语音 | 不提供 |
| 生成图片 | 文本 | 图片 | 图像生成 | 不提供 |
| 对文档做语义搜索 | 文本 | 向量 | Embeddings | 不提供 |

表中的 “视觉” 指图像理解：模型读取你发送的图片，而不是生成图片。两者的区别见词汇表中的[视觉语言模型](https://broadrouter.com/zh/glossary/vision-language-model/)条目。

## 对话和转写有什么区别？

它们是不同的端点，请求格式、计费单位和模型都不一样。

**对话**（`POST /v1/chat/completions`）以 JSON 形式接收消息列表，返回文本。按 token 计费，输入和输出分开计价，每个模型都有一个同时容纳提示词和回答的[上下文窗口](https://broadrouter.com/zh/glossary/context-window/)。在 BroadNet 上，四个对话模型中有三个会先思考（reasoning）再回答，而思考内容计入 `max_tokens`，所以要留出余量（[思考 token 与空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)）。

**转写**（`POST /v1/audio/transcriptions`）以 multipart 上传的方式接收音频文件，返回转写文本。按音频分钟计费。BroadNet 的文档规定格式为 WAV 或 MP3，每个文件最大 26,214,400 字节，并说明始终要传入 `language`，否则阿拉伯语可能会被音译成拉丁字母返回。

| 模型 | 语言 | 价格 |
| --- | --- | --- |
| [BroadNet Transcribe Arabic](https://broadrouter.com/zh/models/cohere-transcribe-arabic/) | 阿拉伯语：按 BroadNet 的说法，涵盖海湾、埃及、黎凡特、马格里布方言和现代标准阿拉伯语 | 每分钟 $0.0042（每小时约 $0.25） |
| [BroadNet Transcribe](https://broadrouter.com/zh/models/cohere-transcribe/) | 14 种，包括英语、西班牙语、法语、普通话和阿拉伯语 | 每分钟 $0.002（每小时约 $0.12） |

BroadNet 上的对话模型不接收音频，转写模型也不回答问题。用文字回复的语音助手需要两次调用：先转写，再对话。[用录音生成阿拉伯语会议纪要](https://broadrouter.com/zh/blog/arabic-meeting-minutes-from-recordings/)搭建的正是这条链路。

## 哪些模型接受图片？

价格数据中 `modalities` 列有 `image` 的模型。截至 2026 年 11 月 15 日：

| 模型 | 输入 | 上下文 | 每 1M token 输入 / 输出 | 使用条件 |
| --- | --- | --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) | 文本、图片 | 1,048,576 | $0.175 / $0.52 | 需要充值 |
| [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) | 文本、图片 | 262,144 | $0.175 / $2.17 | 需要充值 |
| [Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) | 文本、图片 | 32,768 | $0.10 / $0.22 | $5 初始额度 |
| [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) | 仅文本 | 1,048,576 | $0.78 / $3.46 | 需要充值 |

把图片以 `data:` URL 的形式放进消息内容中发送，并写对 MIME 类型。BroadNet 的文档说，视觉功能 “only where the model row explicitly says images or vision”（译文：仅在模型条目明确写有 images 或 vision 时提供）。文档没有列出接受的图片格式，所以你打算接受的每种格式都要测试。使用按量付费的密钥时，图片按输入 token 计费，图片越大用量越多；发送前先缩小尺寸，并用[图片 token 计算器](https://broadrouter.com/tools/image-token-calculator/)估算。完整的文档提取流程见[用视觉大模型从文档中提取数据](https://broadrouter.com/zh/blog/extract-data-from-documents-with-vision-llm/)。

## 在代码里怎样为每种输入选择路由？

下面这个函数根据文件类型选择端点，在发送前检查文档规定的限制，并从实时价格数据中读取支持图片的模型列表，而不是写死在代码里。它使用 OpenAI Python SDK，只要改一下 base URL 就能用于 BroadNet（[配置指南](https://broadrouter.com/zh/guides/openai-python-sdk/)）。

```python
import base64, json, mimetypes, os, urllib.request
from pathlib import Path
from openai import OpenAI

client = OpenAI(base_url=os.environ.get("BROADNET_BASE_URL", "https://inference.broadnet.ai/v1"),
                api_key=os.environ["BROADNET_API_KEY"])
feed = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json", timeout=30))
live = [m for m in feed["models"] if m.get("status", "live") == "live"]
VISION = {m["id"] for m in live if "image" in m.get("modalities", [])}
AUDIO_TYPES = {"audio/wav", "audio/x-wav", "audio/mpeg"}       # WAV or MP3, per the docs
AUDIO_MAX = 26_214_400                                         # bytes per file, per the docs
IMAGE_TYPES = {"image/jpeg", "image/png", "image/webp"}        # your allow-list; test each one

def run(task: str, path: str | None = None, *, chat_model="broadnet/gemma-4-26b-a4b",
        stt_model="broadnet/cohere-transcribe-arabic", language="ar") -> str:
    kind = mimetypes.guess_type(path)[0] if path else None
    if kind is None:                                           # text only
        r = client.chat.completions.create(model=chat_model, max_tokens=1500,
                                           messages=[{"role": "user", "content": task}])
        return r.choices[0].message.content
    if kind in AUDIO_TYPES or kind.startswith("audio/"):
        if kind not in AUDIO_TYPES:
            raise ValueError(f"{kind}: convert first, e.g. ffmpeg -i in.ogg -ar 16000 -ac 1 out.wav")
        if Path(path).stat().st_size > AUDIO_MAX:
            raise ValueError("over 26,214,400 bytes: split the audio before sending")
        with open(path, "rb") as f:                            # step 1: speech to text
            text = client.audio.transcriptions.create(model=stt_model, file=f, language=language).text
        return run(f"{task}\n\nTranscript:\n{text}", chat_model=chat_model) if task else text
    if kind in IMAGE_TYPES:
        if chat_model not in VISION:
            raise ValueError(f"{chat_model} takes no images here; pick one of {sorted(VISION)}")
        data = base64.b64encode(Path(path).read_bytes()).decode()
        r = client.chat.completions.create(model=chat_model, max_tokens=1500, messages=[{"role": "user",
            "content": [{"type": "text", "text": task},
                        {"type": "image_url", "image_url": {"url": f"data:{kind};base64,{data}"}}]}])
        return r.choices[0].message.content
    raise ValueError(f"unsupported input type {kind}")
```

我们把 `BROADNET_BASE_URL` 指向本地模拟服务器（没有调用真实 API），并使用实时价格数据做了测试。文本、一个 WAV 文件、一个带后续任务的 WAV 文件和一个 PNG，都到达了正确的模拟端点。用 `chat_model="broadnet/glm-5.3"` 发送 PNG 时，在发出任何请求之前就被拒绝，并列出了价格数据中三个支持图片的 ID。`.ogg` 文件被拒绝，同时给出了转换用的 ffmpeg 命令；这一步见[转写 WhatsApp 语音消息](https://broadrouter.com/zh/guides/transcribe-whatsapp-voice-notes/)。超过大小上限的录音需要切分；[音频切分工具](https://broadrouter.com/tools/audio-splitter-ffmpeg/)可以生成 ffmpeg 命令。

## 如果文档本来就是文本呢？

那就别发它的图片。从会计系统或文字处理软件导出的 PDF 通常带有文本层；用 PDF 库把文本提取出来，发给对话模型即可。使用按量付费的密钥时，这比发图片便宜，能避免误读，而且 GLM 5.3 也能处理。视觉功能留给扫描件、手机照片、手写体、印章和截图这些没有文本层可提取的情况。

文档流水线中一条实用的规则：先尝试提取文本，检查它是否返回了真正的文本（而不是空白页或乱码），只有不行时才退回到图片。对于阿拉伯语 PDF，在信任提取结果之前先读一段样本：取决于 PDF 的生成方式，提取出的阿拉伯字母可能顺序错乱，或者是未连写的表现形式（presentation forms）。哪些情况下图片是更好的来源，见[用视觉大模型做阿拉伯语 OCR](https://broadrouter.com/zh/blog/arabic-ocr-vision-llm/)。

## 成本怎么比较？

每种输入类型都有自己的计费单位，所以要按任务而不是按请求比较：

-   **文本**按输入和输出 token 计费。同样的内容，阿拉伯语往往比英语需要更多 token；[阿拉伯语 token 计数器](https://broadrouter.com/tools/arabic-token-counter/)可以测量。
-   **图片**在按量付费时按模型输入价格计为输入 token，所以一张大照片可能比一页文字还贵。在 DeepSeek 会话套餐中，图片包含在固定价格里。
-   **音频**按音频分钟计费，与说了什么无关。在 BroadNet 上，用阿拉伯语模型转写 10,000 条每条 30 秒的阿拉伯语语音消息，费用约为 $21.00。其他用量可以用[语音转文字成本计算器](https://broadrouter.com/tools/speech-to-text-cost-calculator/)计算。

链路的成本是各部分之和：由对话模型回复的一条语音消息，费用是转写分钟数，加上转写文本和回答的对话 token。对话部分可以用[大模型 API 成本计算器](https://broadrouter.com/tools/llm-api-cost-calculator/)计算。

## 哪些功能不提供，应该怎么替代？

BroadNet 的 API 参考记载了两个推理端点：chat completions 和音频转写。所以没有：

-   **文本转语音。** 没有 `/v1/audio/speech`。如果你的产品必须用语音回应，就把 BroadNet 的转写和对话与另一个 TTS 服务搭配使用。
-   **实时语音。** 转写接收的是上传的文件，而不是实时音频流。如果电话智能体需要在通话中途回应，你需要在别处搭建实时语音技术栈。[录制浏览器音频用于转写](https://broadrouter.com/zh/blog/record-browser-audio-transcription-api/)介绍了基于文件的替代方案。
-   **图像生成。** 这里的视觉是读取图片，不是创建图片。
-   **Embeddings。** 没有 `/v1/embeddings`。做检索需要其他服务商的或自行部署的 embedding 模型；[embedding 成本计算器](https://broadrouter.com/tools/embedding-cost-calculator/)可以比较价格。

BroadNet 的[研究目录](https://www.broadnet.ai/inference/models)确实列出了文本转语音、图像生成和 embedding 模型，标注为在其实验室中做过基准测试。这记录的是 BroadNet 测试过什么，而不是它的 API 卖什么；两者的区别见[如何解读模型目录](https://broadrouter.com/zh/blog/understand-model-status/)。

## 为什么每种输入都需要单独的评测集？

因为每种输入类型的失败方式不同，把它们混在一起取平均会掩盖失败。

-   **文本：** 用真实的用户消息打分，尽可能用代码检查。方法见[切换大模型前如何评估](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)。
-   **图片：** 使用真实质量的真实照片：斜着拍的手机照片、褪色的收据、盖在文字上的印章。每个字段单独打分。干净的 PDF 渲染图得分会远高于用户实际发来的照片。
-   **语音：** 在你自己的录音上测量[词错误率](https://broadrouter.com/zh/glossary/word-error-rate/)，按方言、说话人和线路质量分开统计，并单独检查关键的词（姓名、数字、金额）。见[阿拉伯语 ASR 的 WER 详解](https://broadrouter.com/zh/blog/arabic-asr-wer-explained/)。
-   **链路：** 当语音输入要交给对话模型时，两个步骤和最终结果都要打分。一个听错的数字会变成一个自信的错误回答，只有端到端测试才能看出这种情况有多频繁。

各个评测集要分开保存、做版本管理，每次更换模型或提示词时，重新运行相应的那一个。

## BroadNet Inference 的定位

BroadNet Inference 用一个密钥和一个 base URL 覆盖了任务表的前五行：文本对话、GLM 5.3 和 Qwen3.8 27B 上的工具调用、三个模型上的图像理解，以及阿拉伯语或多语言转写。Gemma 4 VL 26B 和两个转写模型可以使用 $5 初始额度；DeepSeek、GLM 和 Qwen 需要充值。推理内容不会被保留；必要的账户、计费和安全元数据按 BroadNet [隐私声明](https://www.broadnet.ai/inference-privacy)所述保留。语音朗读、图像生成、实时语音或 embeddings，请使用其他服务。上述所有价格见[价格页面](https://broadrouter.com/zh/pricing/)。

相关免费工具（英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[嵌入向量（embeddings）](https://broadrouter.com/zh/glossary/embeddings/)

嵌入向量（embeddings）是模型为一段文本、一张图片或其他输入生成的浮点数列表（向量）。意思相近的输入会得到彼此接近的向量，因此可以用向量之间的距离来给搜索结果排序、对文档聚类或查找相关条目。

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[WAV](https://broadrouter.com/zh/glossary/wav/)

WAV（Waveform Audio File Format，又称 WAVE）是建立在微软与 IBM 的 RIFF 格式之上的音频容器。它通常存放未压缩的线性 PCM 样本，因此大小可以预测：每秒字节数 = 采样率 × 每样本字节数 × 声道数。

[语音转文字（speech-to-text）](https://broadrouter.com/zh/glossary/speech-to-text/)

语音转文字，也叫自动语音识别（ASR），是把口语音频转换成书面文字的技术。语音转文字 API 接收音频文件或音频流并返回转写文本，通常按音频分钟计价。准确率用词错误率衡量，会随口音、方言和录音质量变化。

[Base URL（base\_url）](https://broadrouter.com/zh/glossary/base-url/)

base URL 是 API 固定的根地址，例如 https://api.example.com/v1，客户端会把它加在每个端点路径（例如 /chat/completions）前面。在 OpenAI 兼容 SDK 中，修改 base URL，再配合 API 密钥和模型 ID，就能让同一份代码改用另一家服务商。

[Chat Completions API（对话补全接口）](https://broadrouter.com/zh/glossary/chat-completions-api/)

Chat Completions API 是 OpenAI 的 HTTP 端点 POST /v1/chat/completions，它接收模型名称和一组带角色标记的消息，返回模型的下一条消息。它的请求与响应结构已成为 OpenAI 兼容服务商和各类 SDK 通用的格式。

[视觉语言模型（VLM，vision-language model）](https://broadrouter.com/zh/glossary/vision-language-model/)

视觉语言模型（VLM）是一种同时接收图像和文本作为输入、输出文本的模型，可以描述图片、回答关于图片的问题，并读取文档、图表或截图。VLM 也被称为图文生文（image-text-to-text）模型或多模态模型。

## 常见问题

### 处理图片应该用哪个 AI 模型？

选你所用 API 上接受图片输入的模型。根据 BroadNet Inference 的价格数据，那就是 DeepSeek V4.1 Flash、Qwen3.8 27B 或 Gemma 4 VL 26B；GLM 5.3 只接受文本。把图片以 data URL 的形式放进对话消息里发送。

### 对话模型能转写音频吗？

在 BroadNet Inference 上不能。音频要用转写模型发送到转写端点 /v1/audio/transcriptions。如果之后还需要摘要或回答，再把转写文本作为第二步发给对话模型。

### BroadNet Inference 提供文本转语音或图像生成吗？

不提供。它的 API 参考只记载了 chat completions 和音频转写。文本转语音和图像生成模型出现在 BroadNet 的研究目录中，标注为已做基准测试，这并不等于对外提供。

### BroadNet 接受哪些音频格式？

WAV（audio/wav）或 MP3（audio/mpeg），每个文件最大 26,214,400 字节。其他格式（比如 WhatsApp 的 .ogg 语音消息）要先用 ffmpeg 转换，并且始终传入 language 参数。

### 图片怎么计费？

使用按量付费的密钥时，BroadNet 把图片按输入 token、以模型的输入价格计费，图片越大用的 token 越多。在 DeepSeek 会话套餐中，图片包含在固定价格里。

## 继续阅读

-   [用视觉大模型把发票、收据和表单数据提取为 JSON](https://broadrouter.com/zh/blog/extract-data-from-documents-with-vision-llm/)
-   [阿拉伯语语音转文字 API：2026 年怎么选](https://broadrouter.com/zh/blog/arabic-speech-to-text-api-buyers-guide/)
-   [多语言语音转文字 API：14 种语言，一个端点](https://broadrouter.com/zh/blog/multilingual-speech-to-text-api/)
-   [最便宜的视觉大模型 API：每张图片和每页文档的成本算法](https://broadrouter.com/zh/blog/cheapest-vision-llm-api/)
-   [用 API 把阿拉伯语会议录音生成会议纪要](https://broadrouter.com/zh/blog/arabic-meeting-minutes-from-recordings/)
-   [已上线、按需提供、仅研究：看懂模型目录](https://broadrouter.com/zh/blog/understand-model-status/)
-   [切换服务商之前，如何评估大模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [指南：用视觉模型识别阿拉伯语发票和收据](https://broadrouter.com/zh/guides/read-arabic-invoices-with-vision/)
-   [指南：阿拉伯语语音转文字 API 分步教程](https://broadrouter.com/zh/guides/arabic-speech-to-text-api/)
-   [指南：用 API 把 WhatsApp 语音消息转成文字](https://broadrouter.com/zh/guides/transcribe-whatsapp-voice-notes/)
-   [指南：用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-text-speech-vision&utm_content=page-cta) ·

**来源**

-   [BroadNet Inference API 参考：模型 ID、带图片的对话、转写格式与大小、功能状态（2026-11-15 查阅）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-text-speech-vision&utm_content=sources)
-   [BroadNet Inference pricing.json：各模型的模态、语言和价格（2026-11-15 查阅）（英文）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-text-speech-vision&utm_content=sources)
-   [BroadNet Inference 模型目录：在线模型，以及标为已做基准测试的文本转语音和图像模型（2026-11-15 查阅）（英文）](https://www.broadnet.ai/inference/models)
-   [BroadNet Inference 隐私与数据保留声明（2026-11-15 查阅）（英文）](https://www.broadnet.ai/inference-privacy)
