विज़न-लैंग्वेज मॉडल से आप किसी इमेज के बारे में वैसे ही सवाल पूछ सकते हैं जैसे टेक्स्ट के बारे में पूछते हैं।
यह कैसे काम करता है
Hugging Face इन मॉडलों का सीधा वर्णन करता है: ये “take in an image and text prompt and output text.” (अनुवाद: एक इमेज और टेक्स्ट प्रॉम्प्ट लेते हैं और टेक्स्ट देते हैं।) इन्हें इमेज-टेक्स्ट जोड़ियों पर ट्रेन किया जाता है, इसलिए ये जो देखते हैं उसे भाषा से जोड़ना सीखते हैं।
OpenAI-compatible API में इमेज मैसेज के अंदर एक content part के रूप में जाती है। यह कोई पब्लिक URL या base64 data URL हो सकता है:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
मॉडल इमेज को इनपुट टोकन में बदलता है, उन्हें आपके टेक्स्ट के साथ पढ़ता है और जवाब लिखता है।
यह क्यों मायने रखता है
- दस्तावेज़. इनवॉइस, रसीदें, फ़ॉर्म और ID सीधे मॉडल को भेजे जा सकते हैं, अक्सर structured output के साथ ताकि फ़ील्ड JSON में वापस मिलें।
- स्क्रीन और चार्ट. एजेंट स्क्रीनशॉट और डैशबोर्ड पढ़ सकते हैं; सपोर्ट टूल यूज़र की भेजी फ़ोटो पढ़ सकते हैं।
- लागत और सीमाएँ. हर इमेज इनपुट टोकन जोड़ती है और कॉन्टेक्स्ट विंडो का एक हिस्सा भरती है। एक अनुरोध में कई इमेज जल्दी जुड़ जाती हैं।
नतीजा जाँचें। VLM छोटा या धुंधला टेक्स्ट ग़लत पढ़ सकते हैं और ग़लत संख्याएँ पूरे भरोसे से बता सकते हैं। पैसों से जुड़ी किसी भी चीज़ के लिए टोटल को कोड में वैलिडेट करें।
BroadNet Inference पर
तीन चैट मॉडल इमेज लेते हैं:
| मॉडल | इनपुट | कॉन्टेक्स्ट |
|---|---|---|
| DeepSeek V4.1 Flash | टेक्स्ट और इमेज | 1,048,576 टोकन |
| Qwen3.8 27B | टेक्स्ट और इमेज | 262,144 टोकन |
| BroadNet Gemma 4 VL 26B | टेक्स्ट और इमेज | 32,768 टोकन |
GLM 5.3 सिर्फ़ टेक्स्ट वाला है। BroadNet Gemma 4 VL 26B की कीमत प्रति 10 लाख इनपुट टोकन $0.10 है और यह $5 के मुफ़्त शुरुआती क्रेडिट पर चलता है। Qwen3.8 27B को BroadNet ने अरबी में टेस्ट किया है और यह structured output भी सपोर्ट करता है। पे-ऐज़-यू-गो पर इमेज इनपुट टोकन के रूप में गिनी जाती है, और बड़ी इमेज ज़्यादा टोकन लेती हैं।
अरबी इनवॉइस गाइड पूरा extraction क़दम-दर-क़दम दिखाती है। data URL में MIME टाइप सही रखें, और reasoning मॉडल पर max_tokens में जगह छोड़ें।