BroadRouter
Mulai

Vision-language model (VLM)

Diperbarui

Vision-language model (VLM) adalah model yang menerima gambar dan teks sekaligus sebagai input dan menghasilkan teks, sehingga bisa mendeskripsikan gambar, menjawab pertanyaan tentangnya, serta membaca dokumen, grafik, atau screenshot. VLM juga disebut model image-text-to-text atau model multimodal.

Disebut juga: vision-language model, model bahasa visual, model visi, model vision, LLM multimodal, API vision, VLM, vision model, multimodal LLM, image-text-to-text model, vision API

Vision-language model memungkinkan Anda bertanya tentang gambar dengan cara yang sama seperti bertanya tentang teks.

Cara kerjanya

Hugging Face menjelaskan model ini dengan sederhana: mereka “take in an image and text prompt and output text.” (terjemahan: menerima gambar dan prompt teks lalu menghasilkan teks.) Model ini dilatih dengan pasangan gambar-teks, sehingga belajar menghubungkan apa yang dilihat dengan bahasa.

Melalui API yang kompatibel dengan OpenAI, gambar dikirim di dalam pesan sebagai content part. Bentuknya bisa URL publik atau data URL base64:

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

Model mengubah gambar menjadi token input, membacanya bersama teks Anda, lalu menulis jawaban.

Mengapa penting

  • Dokumen. Invoice, struk, formulir, dan kartu identitas bisa langsung dikirim ke model, sering kali dengan output terstruktur agar field-nya kembali sebagai JSON.
  • Layar dan grafik. Agen bisa membaca screenshot dan dashboard; tool support bisa membaca foto yang dikirim pengguna.
  • Biaya dan batas. Setiap gambar menambah token input dan mengisi sebagian context window. Banyak gambar dalam satu request cepat menumpuk.

Periksa hasilnya. VLM bisa salah membaca teks kecil atau buram dan bisa menyebut angka yang salah dengan percaya diri. Untuk apa pun yang menyangkut uang, validasi total di kode.

Di BroadNet Inference

Tiga model chat menerima gambar:

Model Input Konteks
DeepSeek V4.1 Flash Teks dan gambar 1.048.576 token
Qwen3.8 27B Teks dan gambar 262.144 token
BroadNet Gemma 4 VL 26B Teks dan gambar 32.768 token

GLM 5.3 hanya teks. BroadNet Gemma 4 VL 26B berharga $0.10 per 1M token input dan bisa dipakai dengan kredit awal gratis $5. Qwen3.8 27B sudah diuji BroadNet dalam bahasa Arab dan juga mendukung output terstruktur. Pada skema bayar sesuai pemakaian, gambar dihitung sebagai token input, dan gambar yang lebih besar memakai lebih banyak token.

Panduan invoice bahasa Arab membahas ekstraksi lengkap langkah demi langkah. Pastikan MIME type di data URL akurat, dan sisakan ruang di max_tokens untuk model reasoning.

Pertanyaan umum

Apakah vision-language model sama dengan OCR?

Tidak. OCR mengubah teks cetak dalam gambar menjadi karakter. VLM juga bisa membaca teks, tetapi ia memahami tata letak dan isinya, sehingga bisa menjawab pertanyaan seperti baris mana yang merupakan total, atau apa yang ditunjukkan sebuah grafik.

Apakah gambar memakan token?

Ya. Gambar diubah menjadi token input. Gambar yang lebih besar biasanya memakai lebih banyak token, jadi perkecil ke ukuran terkecil yang masih mempertahankan detail yang Anda butuhkan.

Model BroadNet mana yang menerima gambar?

DeepSeek V4.1 Flash, Qwen3.8 27B, dan BroadNet Gemma 4 VL 26B menerima input teks dan gambar. GLM 5.3 hanya teks.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity