BroadRouter
Bắt đầu

Vision-language model (VLM, mô hình thị giác-ngôn ngữ)

Cập nhật

Vision-language model (VLM) là model nhận đầu vào gồm cả ảnh và văn bản rồi tạo ra văn bản, nhờ đó có thể mô tả hình ảnh, trả lời câu hỏi về ảnh và đọc tài liệu, biểu đồ hay ảnh chụp màn hình. VLM còn được gọi là model image-text-to-text hoặc model đa phương thức.

Còn gọi là: VLM là gì, mô hình thị giác-ngôn ngữ, mô hình ngôn ngữ thị giác, model thị giác, LLM đa phương thức, API đọc ảnh, VLM, vision model, multimodal LLM, image-text-to-text model, vision API

Vision-language model cho phép bạn đặt câu hỏi về một bức ảnh giống như hỏi về văn bản.

Cách hoạt động

Hugging Face mô tả các model này rất đơn giản: chúng “take in an image and text prompt and output text.” (Bản dịch: nhận một ảnh và một prompt văn bản rồi xuất ra văn bản.) Chúng được huấn luyện trên các cặp ảnh–văn bản, nên học được cách nối những gì nhìn thấy với ngôn ngữ.

Qua một API tương thích OpenAI, ảnh được đặt bên trong message dưới dạng một content part. Đó có thể là một URL công khai hoặc một data URL base64:

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

Model chuyển ảnh thành token đầu vào, đọc chúng cùng văn bản của bạn và viết câu trả lời.

Vì sao quan trọng

  • Tài liệu. Hóa đơn, biên lai, biểu mẫu và giấy tờ tùy thân có thể gửi thẳng cho model, thường kèm đầu ra có cấu trúc để nhận lại các trường dưới dạng JSON.
  • Màn hình và biểu đồ. Agent có thể đọc ảnh chụp màn hình và dashboard; công cụ hỗ trợ khách hàng có thể đọc ảnh người dùng gửi.
  • Chi phí và giới hạn. Mỗi ảnh thêm token đầu vào và chiếm một phần context window. Nhiều ảnh trong một request cộng dồn rất nhanh.

Hãy kiểm tra kết quả. VLM có thể đọc sai chữ nhỏ hoặc mờ, và có thể nêu sai con số một cách đầy tự tin. Với bất cứ thứ gì liên quan đến tiền, hãy kiểm tra tổng bằng code.

Trên BroadNet Inference

Ba chat model nhận ảnh:

Model Đầu vào Ngữ cảnh
DeepSeek V4.1 Flash Văn bản và ảnh 1.048.576 token
Qwen3.8 27B Văn bản và ảnh 262.144 token
BroadNet Gemma 4 VL 26B Văn bản và ảnh 32.768 token

GLM 5.3 chỉ nhận văn bản. BroadNet Gemma 4 VL 26B có giá $0.10 cho mỗi 1 triệu token đầu vào và dùng được với tín dụng ban đầu miễn phí $5. Qwen3.8 27B đã được BroadNet thử nghiệm bằng tiếng Ả Rập và cũng hỗ trợ đầu ra có cấu trúc. Với gói trả theo mức dùng, một ảnh được tính là token đầu vào, và ảnh lớn hơn tốn nhiều hơn.

Hướng dẫn đọc hóa đơn tiếng Ả Rập đi qua toàn bộ quy trình trích xuất. Hãy để MIME type trong data URL chính xác, và chừa đủ chỗ trong max_tokens với các model suy luận.

Câu hỏi thường gặp

Vision-language model có giống OCR không?

Không. OCR chuyển chữ in trong ảnh thành ký tự. VLM cũng đọc được chữ, nhưng hiểu cả bố cục và nội dung, nên có thể trả lời những câu như dòng nào là tổng tiền, hay biểu đồ đang thể hiện điều gì.

Ảnh có tốn token không?

Có. Ảnh được chuyển thành token đầu vào. Ảnh lớn hơn thường tốn nhiều token hơn, nên hãy thu nhỏ ảnh đến kích thước nhỏ nhất vẫn giữ được chi tiết bạn cần.

Model nào của BroadNet nhận được ảnh?

DeepSeek V4.1 Flash, Qwen3.8 27B và BroadNet Gemma 4 VL 26B nhận đầu vào văn bản và ảnh. GLM 5.3 chỉ nhận văn bản.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity