---
title: "什么是视觉语言模型（VLM）？如何通过 API 调用 | BroadRouter"
description: "视觉语言模型同时读取图像和文本，并以文本作答。图像如何通过 OpenAI 兼容 API 发送、按什么计费，以及常见用途。"
url: https://broadrouter.com/zh/glossary/vision-language-model/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/vision-language-model/)（2026-11-14 更新）。

# 视觉语言模型（VLM，vision-language model）

更新于 2026-11-14

视觉语言模型（VLM）是一种同时接收图像和文本作为输入、输出文本的模型，可以描述图片、回答关于图片的问题，并读取文档、图表或截图。VLM 也被称为图文生文（image-text-to-text）模型或多模态模型。

又称： 视觉语言模型、视觉大模型、多模态大模型、图文模型、图像理解 API、VLM、vision-language model、vision model、multimodal LLM、image-text-to-text model、vision API

视觉语言模型让你可以像询问文本一样，就一张图片提问。

## 工作原理

Hugging Face 对这类模型的描述很简单：它们 “take in an image and text prompt and output text.”（译文：接收图像和文本提示，输出文本。）它们在图文对上训练，因此学会把看到的内容与语言联系起来。

通过 OpenAI 兼容 API，图像作为一个内容部分放在消息里，可以是公开 URL，也可以是 base64 data URL：

```python
import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)
```

模型把图像转换成输入 [token](https://broadrouter.com/zh/glossary/token/)，与你的文本一起读取，然后写出回答。

## 为什么重要

-   **文档。** 发票、收据、表单和证件可以直接交给模型，常常配合[结构化输出](https://broadrouter.com/zh/glossary/structured-output/)以 JSON 形式取回字段。
-   **屏幕和图表。** 智能体可以读取截图和仪表盘；客服工具可以读取用户发来的照片。
-   **费用和限制。** 每张图像都会增加输入 token，并占用一部分[上下文窗口](https://broadrouter.com/zh/glossary/context-window/)。一次请求里放很多图像，用量会迅速累积。

务必核对结果。VLM 可能误读又小又模糊的文字，也可能信心十足地给出错误数字。凡是涉及资金的场景，请用代码校验合计。

## 在 BroadNet Inference 上

有三个对话模型接受图像：

| 模型 | 输入 | 上下文 |
| --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) | 文本和图像 | 1,048,576 token |
| [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) | 文本和图像 | 262,144 token |
| [BroadNet Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) | 文本和图像 | 32,768 token |

GLM 5.3 仅支持文本。BroadNet Gemma 4 VL 26B 每百万输入 token $0.10，可以使用免费的 $5 初始额度。Qwen3.8 27B 经 BroadNet 用阿拉伯语测试过，也支持结构化输出。按量付费时，图像按输入 token 计费，图像越大用量越多。

[阿拉伯语发票指南](https://broadrouter.com/zh/guides/read-arabic-invoices-with-vision/)演示了一次完整的信息提取。请确保 data URL 中的 MIME 类型准确，并在推理模型上为 `max_tokens` 留出余量。

## 常见问题

### 视觉语言模型和 OCR 是一回事吗？

不是。OCR 把图像中的印刷文字转换成字符。VLM 也能读文字，但它理解版面和内容，因此能回答诸如“哪一行是合计”或“这张图表说明了什么”之类的问题。

### 图像也消耗 token 吗？

是的。图像会被转换成输入 token。图像越大通常用得越多，所以请把图像缩小到仍能保留所需细节的最小尺寸。

### BroadNet 上哪些模型支持图像输入？

DeepSeek V4.1 Flash、Qwen3.8 27B 和 BroadNet Gemma 4 VL 26B 支持文本和图像输入。GLM 5.3 仅支持文本。

## 另请参阅

-   [结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/)（术语）
-   [Token（词元）](https://broadrouter.com/zh/glossary/token/)（术语）
-   [开放权重模型（open-weight model）](https://broadrouter.com/zh/glossary/open-weight-model/)（术语）
-   [上下文窗口（context window）](https://broadrouter.com/zh/glossary/context-window/)（术语）
-   [多模态 AI（multimodal AI）](https://broadrouter.com/zh/glossary/multimodal/)（术语）
-   [光学字符识别（OCR）](https://broadrouter.com/zh/glossary/ocr/)（术语）
-   [图像 token（image tokens）](https://broadrouter.com/zh/glossary/image-tokens/)（术语）
-   [用视觉模型识别阿拉伯语发票和收据](https://broadrouter.com/zh/guides/read-arabic-invoices-with-vision/)（指南）
-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)（指南）
-   [如何选择阿拉伯语大模型 API：该测试什么](https://broadrouter.com/zh/blog/choosing-an-llm-for-arabic/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-vision-language-model&utm_content=page-cta) ·

**来源**

-   [Hugging Face Tasks，image-text-to-text（视觉语言模型）](https://huggingface.co/tasks/image-text-to-text)
-   [OpenAI API 参考，创建对话补全（图像内容部分）](https://developers.openai.com/api/reference/resources/chat/subresources/completions/methods/create)
-   [BroadNet Inference API 参考，模型（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-vision-language-model&utm_content=sources#models)
