BroadRouter
Mulakan

Model bahasa-penglihatan (vision-language model)

Dikemas kini

Model bahasa-penglihatan (VLM) ialah model yang menerima imej dan teks bersama sebagai input dan menghasilkan teks, jadi ia boleh menerangkan gambar, menjawab soalan tentangnya dan membaca dokumen, carta atau tangkapan skrin. VLM juga dipanggil model image-text-to-text atau model multimodal.

Juga dikenali sebagai: VLM, vision-language model, model penglihatan, vision model, multimodal LLM, LLM multimodal, image-text-to-text model, vision API, AI baca gambar

Model bahasa-penglihatan membolehkan anda bertanya tentang imej dengan cara yang sama anda bertanya tentang teks.

Cara ia berfungsi

Hugging Face menerangkan model ini dengan ringkas: they “take in an image and text prompt and output text.” (Terjemahan: “menerima imej dan prompt teks dan mengeluarkan teks.”) Model ini dilatih pada pasangan imej-teks, jadi ia belajar mengaitkan apa yang dilihatnya dengan bahasa.

Melalui API serasi OpenAI, imej dimasukkan ke dalam mesej sebagai satu bahagian kandungan. Ia boleh jadi URL awam atau data URL base64:

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

Model menukar imej kepada token input, membacanya bersama teks anda, dan menulis jawapan.

Mengapa ia penting

  • Dokumen. Invois, resit, borang dan kad pengenalan boleh dihantar terus kepada model, selalunya dengan output berstruktur untuk mendapatkan medan sebagai JSON.
  • Skrin dan carta. Ejen boleh membaca tangkapan skrin dan papan pemuka; alat sokongan boleh membaca foto yang dihantar pengguna.
  • Kos dan had. Setiap imej menambah token input dan memenuhi sebahagian tetingkap konteks. Banyak imej dalam satu permintaan cepat bertambah.

Semak hasilnya. VLM boleh tersalah baca teks yang kecil atau kabur dan boleh menyatakan nombor yang salah dengan yakin. Untuk apa sahaja yang melibatkan wang, sahkan jumlah dalam kod.

Di BroadNet Inference

Tiga model chat menerima imej:

Model Input Konteks
DeepSeek V4.1 Flash Teks dan imej 1,048,576 token
Qwen3.8 27B Teks dan imej 262,144 token
BroadNet Gemma 4 VL 26B Teks dan imej 32,768 token

GLM 5.3 hanya teks. BroadNet Gemma 4 VL 26B berharga $0.10 bagi setiap 1M token input dan berfungsi pada kredit permulaan percuma $5. Qwen3.8 27B telah diuji oleh BroadNet dalam bahasa Arab dan juga menyokong output berstruktur. Dengan bayar ikut guna, imej dikira sebagai token input, dan imej yang lebih besar menggunakan lebih banyak.

Panduan invois bahasa Arab menunjukkan pengekstrakan penuh. Pastikan jenis MIME dalam data URL tepat, dan tinggalkan ruang dalam max_tokens pada model penaakulan.

Soalan lazim

Adakah model bahasa-penglihatan sama dengan OCR?

Tidak. OCR menukar teks bercetak dalam imej kepada aksara. VLM juga boleh membaca teks, tetapi ia memahami susun atur dan kandungan, jadi ia boleh menjawab soalan seperti baris mana yang merupakan jumlah, atau apa yang ditunjukkan oleh carta.

Adakah imej menggunakan token?

Ya. Imej ditukar kepada token input. Imej yang lebih besar biasanya menggunakan lebih banyak, jadi ubah saiznya kepada saiz terkecil yang masih mengekalkan butiran yang anda perlukan.

Model BroadNet yang mana menerima imej?

DeepSeek V4.1 Flash, Qwen3.8 27B dan BroadNet Gemma 4 VL 26B menerima input teks dan imej. GLM 5.3 hanya teks.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity