BroadRouter
开始使用

多模态 AI(multimodal AI)

更新于

多模态 AI 是能处理多种数据类型(如文本、图像、视频和音频)的模型或系统。多模态模型可以同时读取一张照片和一个问题,或者输入语音、输出文本。视觉语言模型是最常见的一类。

又称: 多模态、多模态模型、多模态大模型、多模态 AI、多模态输入、模态、multimodal、multimodal model、multimodal AI model、multimodal input、multi-modal、modalities

“多模态”说明的是模型能接收什么输入。一定要核对具体清单,因为两个都叫多模态的模型,能接收的输入可能大不相同。

工作原理

每种输入都会被转换成语言模型本来就能读取的形式:上下文窗口里的一串向量。文本经过分词器。图像经过视觉编码器,变成一块图像 token。视频通常按一系列帧处理,音频则经过音频编码器。

模型卡片显示,即使在同一系列中,差别也可以很细:

模型 模型卡片列出的输入 输出
Gemma 4 26B A4B 文本、图像、以帧形式输入的视频;不支持音频(Google 只为 E2B、E4B 和 12B 尺寸列出了音频) 文本
Qwen3.8 27B 文本、图像、视频 文本

API 也会按端点分工。以 OpenAI 的音频指南为例,文件转写走语音转文字端点,需要音频的聊天应用则指向另一个“对话中的音频”功能。

专指文本加图像的较窄说法是视觉语言模型。

为什么重要

  • 成本。 非文本输入会被换算成 token,或按媒体单位计费。在 BroadNet 上,图片越大,输入 token 越多,所以请把图片缩小到够用的清晰度。
  • 架构。 如果没有哪个模型能接收你所有的输入,就串联模型:先语音转文字,再交给文本或视觉模型。
  • 质量检查。 读印刷发票、读图表、读手写便条是不同的能力。用你自己的文档测试相应模态,而不是只看演示图片。

在 BroadNet Inference 上

BroadNet 的文档按模型列出了以下输入:

模型 输入
DeepSeek V4.1 Flash 文本和图像
GLM 5.3 文本
Qwen3.8 27B 文本和视觉
BroadNet Gemma 4 VL 26B 文本和图像
BroadNet Transcribe Arabic / BroadNet Transcribe 音频,通过 /v1/audio/transcriptions

图片以 data: URL 的形式放进消息内容列表,发送到 /v1/chat/completions;阿拉伯语发票指南有完整示例。音频是单独的请求:WAV 或 MP3,最大 26,214,400 字节,并设置 language,参见 WhatsApp 语音消息指南。因此,一个语音消息助手要发两次调用:先转写,再对话。

常见问题

视觉语言模型算多模态吗?

算。视觉语言模型是最常见的多模态模型,接收文本和图像。多模态是更宽泛的说法,还包括音频和视频。

在 BroadNet 上能把音频直接发给对话模型吗?

BroadNet 的文档只在转写端点列出了音频。先把音频转写成文字,再把文字发给对话模型。

图片比文本更贵吗?

在 BroadNet 按量付费密钥上,图片按模型的输入价格计为输入 token,图片越大用的 token 越多。在套餐上,图片包含在固定价格内。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity