ویژن لینگویج ماڈل سے آپ کسی تصویر کے بارے میں ویسے ہی سوال پوچھ سکتے ہیں جیسے متن کے بارے میں پوچھتے ہیں۔
یہ کیسے کام کرتا ہے
Hugging Face ان ماڈلز کی سیدھی وضاحت کرتا ہے: یہ “take in an image and text prompt and output text.” (ترجمہ: ایک تصویر اور متنی پرامپٹ لیتے ہیں اور متن دیتے ہیں۔) انہیں تصویر-متن کے جوڑوں پر تربیت دی جاتی ہے، اس لیے یہ جو دیکھتے ہیں اسے زبان سے جوڑنا سیکھتے ہیں۔
OpenAI-compatible API میں تصویر پیغام کے اندر ایک content part کے طور پر جاتی ہے۔ یہ کوئی پبلک URL یا base64 data URL ہو سکتا ہے:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
ماڈل تصویر کو ان پٹ ٹوکنز میں بدلتا ہے، انہیں آپ کے متن کے ساتھ پڑھتا ہے اور جواب لکھتا ہے۔
یہ کیوں اہم ہے
- دستاویزات۔ انوائسز، رسیدیں، فارم اور شناختی کارڈ سیدھے ماڈل کو بھیجے جا سکتے ہیں، اکثر structured output کے ساتھ تاکہ فیلڈز JSON میں واپس ملیں۔
- اسکرینیں اور چارٹس۔ ایجنٹس اسکرین شاٹس اور ڈیش بورڈز پڑھ سکتے ہیں؛ سپورٹ ٹولز صارفین کی بھیجی تصویریں پڑھ سکتے ہیں۔
- لاگت اور حدود۔ ہر تصویر ان پٹ ٹوکنز بڑھاتی ہے اور کانٹیکسٹ ونڈو کا ایک حصہ بھرتی ہے۔ ایک درخواست میں کئی تصویریں جلد جمع ہو جاتی ہیں۔
نتیجہ جانچیں۔ VLM چھوٹا یا دھندلا متن غلط پڑھ سکتے ہیں اور غلط اعداد پورے اعتماد سے بتا سکتے ہیں۔ پیسوں سے جڑی کسی بھی چیز کے لیے ٹوٹل کو کوڈ میں ویلیڈیٹ کریں۔
BroadNet Inference پر
تین چیٹ ماڈل تصویریں لیتے ہیں:
| ماڈل | ان پٹ | کانٹیکسٹ |
|---|---|---|
| DeepSeek V4.1 Flash | متن اور تصویر | 1,048,576 ٹوکن |
| Qwen3.8 27B | متن اور تصویر | 262,144 ٹوکن |
| BroadNet Gemma 4 VL 26B | متن اور تصویر | 32,768 ٹوکن |
GLM 5.3 صرف متن والا ہے۔ BroadNet Gemma 4 VL 26B کی قیمت فی دس لاکھ ان پٹ ٹوکن $0.10 ہے اور یہ $5 کے مفت ابتدائی کریڈٹ پر چلتا ہے۔ Qwen3.8 27B کو BroadNet نے عربی میں ٹیسٹ کیا ہے اور یہ structured output بھی سپورٹ کرتا ہے۔ استعمال کے مطابق ادائیگی (pay-as-you-go) پر تصویر ان پٹ ٹوکنز کے طور پر گنی جاتی ہے، اور بڑی تصویریں زیادہ ٹوکن لیتی ہیں۔
عربی انوائس گائیڈ پورا extraction مرحلہ وار دکھاتی ہے۔ data URL میں MIME ٹائپ درست رکھیں، اور reasoning ماڈلز پر max_tokens میں گنجائش چھوڑیں۔