Model bahasa-penglihatan membolehkan anda bertanya tentang imej dengan cara yang sama anda bertanya tentang teks.
Cara ia berfungsi
Hugging Face menerangkan model ini dengan ringkas: they “take in an image and text prompt and output text.” (Terjemahan: “menerima imej dan prompt teks dan mengeluarkan teks.”) Model ini dilatih pada pasangan imej-teks, jadi ia belajar mengaitkan apa yang dilihatnya dengan bahasa.
Melalui API serasi OpenAI, imej dimasukkan ke dalam mesej sebagai satu bahagian kandungan. Ia boleh jadi URL awam atau data URL base64:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
Model menukar imej kepada token input, membacanya bersama teks anda, dan menulis jawapan.
Mengapa ia penting
- Dokumen. Invois, resit, borang dan kad pengenalan boleh dihantar terus kepada model, selalunya dengan output berstruktur untuk mendapatkan medan sebagai JSON.
- Skrin dan carta. Ejen boleh membaca tangkapan skrin dan papan pemuka; alat sokongan boleh membaca foto yang dihantar pengguna.
- Kos dan had. Setiap imej menambah token input dan memenuhi sebahagian tetingkap konteks. Banyak imej dalam satu permintaan cepat bertambah.
Semak hasilnya. VLM boleh tersalah baca teks yang kecil atau kabur dan boleh menyatakan nombor yang salah dengan yakin. Untuk apa sahaja yang melibatkan wang, sahkan jumlah dalam kod.
Di BroadNet Inference
Tiga model chat menerima imej:
| Model | Input | Konteks |
|---|---|---|
| DeepSeek V4.1 Flash | Teks dan imej | 1,048,576 token |
| Qwen3.8 27B | Teks dan imej | 262,144 token |
| BroadNet Gemma 4 VL 26B | Teks dan imej | 32,768 token |
GLM 5.3 hanya teks. BroadNet Gemma 4 VL 26B berharga $0.10 bagi setiap 1M token input dan berfungsi pada kredit permulaan percuma $5. Qwen3.8 27B telah diuji oleh BroadNet dalam bahasa Arab dan juga menyokong output berstruktur. Dengan bayar ikut guna, imej dikira sebagai token input, dan imej yang lebih besar menggunakan lebih banyak.
Panduan invois bahasa Arab menunjukkan pengekstrakan penuh. Pastikan jenis MIME dalam data URL tepat, dan tinggalkan ruang dalam max_tokens pada model penaakulan.