Sa vision-language model, puwede kang magtanong tungkol sa larawan sa parehong paraan ng pagtatanong tungkol sa text.
Paano ito gumagana
Simple ang paglalarawan ng Hugging Face sa mga model na ito: they “take in an image and text prompt and output text.” (Salin: “tumatanggap sila ng larawan at text prompt at naglalabas ng text.”) Tinrain sila sa mga pares ng larawan at text, kaya natututo silang iugnay ang nakikita nila sa wika.
Sa isang OpenAI-compatible API, nasa loob ng message ang larawan bilang isang content part. Puwede itong public URL o base64 data URL:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
Ginagawang input token ng model ang larawan, binabasa ang mga ito kasama ng text mo, at sumusulat ng sagot.
Bakit ito mahalaga
- Mga dokumento. Puwedeng diretsong ipadala sa model ang mga invoice, resibo, form at ID, kadalasang may structured output para makuha ang mga field bilang JSON.
- Mga screen at chart. Nababasa ng mga agent ang mga screenshot at dashboard; nababasa ng mga support tool ang mga litratong ipinapadala ng user.
- Gastos at limit. Nagdaragdag ng input token ang bawat larawan at pinupuno nito ang bahagi ng context window. Mabilis lumaki kapag maraming larawan sa isang request.
Suriin ang resulta. Puwedeng magkamali ang VLM sa pagbasa ng maliit o malabong text at puwede itong magbigay ng maling numero nang buong kumpiyansa. Para sa anumang may kinalaman sa pera, i-validate ang mga total sa code.
Sa BroadNet Inference
Tatlong chat model ang tumatanggap ng larawan:
| Model | Input | Context |
|---|---|---|
| DeepSeek V4.1 Flash | Text at larawan | 1,048,576 token |
| Qwen3.8 27B | Text at larawan | 262,144 token |
| BroadNet Gemma 4 VL 26B | Text at larawan | 32,768 token |
Text lang ang GLM 5.3. Ang BroadNet Gemma 4 VL 26B ay $0.10 kada 1M input token at gumagana sa libreng $5 na panimulang credit. Sinubukan ng BroadNet ang Qwen3.8 27B sa Arabic at sinusuportahan din nito ang structured output. Sa pay-as-you-go, binibilang ang larawan bilang input token, at mas marami ang nagagamit ng mas malalaking larawan.
Ipinapakita ng gabay sa Arabic invoice ang buong extraction. Siguraduhing tama ang MIME type sa data URL, at mag-iwan ng puwang sa max_tokens sa mga reasoning model.