视觉语言模型让你可以像询问文本一样,就一张图片提问。
工作原理
Hugging Face 对这类模型的描述很简单:它们 “take in an image and text prompt and output text.”(译文:接收图像和文本提示,输出文本。)它们在图文对上训练,因此学会把看到的内容与语言联系起来。
通过 OpenAI 兼容 API,图像作为一个内容部分放在消息里,可以是公开 URL,也可以是 base64 data URL:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
模型把图像转换成输入 token,与你的文本一起读取,然后写出回答。
为什么重要
- 文档。 发票、收据、表单和证件可以直接交给模型,常常配合结构化输出以 JSON 形式取回字段。
- 屏幕和图表。 智能体可以读取截图和仪表盘;客服工具可以读取用户发来的照片。
- 费用和限制。 每张图像都会增加输入 token,并占用一部分上下文窗口。一次请求里放很多图像,用量会迅速累积。
务必核对结果。VLM 可能误读又小又模糊的文字,也可能信心十足地给出错误数字。凡是涉及资金的场景,请用代码校验合计。
在 BroadNet Inference 上
有三个对话模型接受图像:
| 模型 | 输入 | 上下文 |
|---|---|---|
| DeepSeek V4.1 Flash | 文本和图像 | 1,048,576 token |
| Qwen3.8 27B | 文本和图像 | 262,144 token |
| BroadNet Gemma 4 VL 26B | 文本和图像 | 32,768 token |
GLM 5.3 仅支持文本。BroadNet Gemma 4 VL 26B 每百万输入 token $0.10,可以使用免费的 $5 初始额度。Qwen3.8 27B 经 BroadNet 用阿拉伯语测试过,也支持结构化输出。按量付费时,图像按输入 token 计费,图像越大用量越多。
阿拉伯语发票指南演示了一次完整的信息提取。请确保 data URL 中的 MIME 类型准确,并在推理模型上为 max_tokens 留出余量。