BroadRouter
शुरू करें

विज़न-लैंग्वेज मॉडल (VLM)

अपडेट किया गया

विज़न-लैंग्वेज मॉडल (VLM) ऐसा मॉडल है जो इमेज और टेक्स्ट को साथ में इनपुट के रूप में लेकर टेक्स्ट बनाता है, ताकि वह तस्वीरों का वर्णन कर सके, उनके बारे में सवालों के जवाब दे सके और दस्तावेज़, चार्ट या स्क्रीनशॉट पढ़ सके। VLM को image-text-to-text या multimodal मॉडल भी कहते हैं।

अन्य नाम: विज़न मॉडल, विज़न-लैंग्वेज मॉडल, इमेज पढ़ने वाला AI, vlm kya hai, vision language model kya hai, VLM, vision model, multimodal LLM, image-text-to-text model, vision API

विज़न-लैंग्वेज मॉडल से आप किसी इमेज के बारे में वैसे ही सवाल पूछ सकते हैं जैसे टेक्स्ट के बारे में पूछते हैं।

यह कैसे काम करता है

Hugging Face इन मॉडलों का सीधा वर्णन करता है: ये “take in an image and text prompt and output text.” (अनुवाद: एक इमेज और टेक्स्ट प्रॉम्प्ट लेते हैं और टेक्स्ट देते हैं।) इन्हें इमेज-टेक्स्ट जोड़ियों पर ट्रेन किया जाता है, इसलिए ये जो देखते हैं उसे भाषा से जोड़ना सीखते हैं।

OpenAI-compatible API में इमेज मैसेज के अंदर एक content part के रूप में जाती है। यह कोई पब्लिक URL या base64 data URL हो सकता है:

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

मॉडल इमेज को इनपुट टोकन में बदलता है, उन्हें आपके टेक्स्ट के साथ पढ़ता है और जवाब लिखता है।

यह क्यों मायने रखता है

  • दस्तावेज़. इनवॉइस, रसीदें, फ़ॉर्म और ID सीधे मॉडल को भेजे जा सकते हैं, अक्सर structured output के साथ ताकि फ़ील्ड JSON में वापस मिलें।
  • स्क्रीन और चार्ट. एजेंट स्क्रीनशॉट और डैशबोर्ड पढ़ सकते हैं; सपोर्ट टूल यूज़र की भेजी फ़ोटो पढ़ सकते हैं।
  • लागत और सीमाएँ. हर इमेज इनपुट टोकन जोड़ती है और कॉन्टेक्स्ट विंडो का एक हिस्सा भरती है। एक अनुरोध में कई इमेज जल्दी जुड़ जाती हैं।

नतीजा जाँचें। VLM छोटा या धुंधला टेक्स्ट ग़लत पढ़ सकते हैं और ग़लत संख्याएँ पूरे भरोसे से बता सकते हैं। पैसों से जुड़ी किसी भी चीज़ के लिए टोटल को कोड में वैलिडेट करें।

BroadNet Inference पर

तीन चैट मॉडल इमेज लेते हैं:

मॉडल इनपुट कॉन्टेक्स्ट
DeepSeek V4.1 Flash टेक्स्ट और इमेज 1,048,576 टोकन
Qwen3.8 27B टेक्स्ट और इमेज 262,144 टोकन
BroadNet Gemma 4 VL 26B टेक्स्ट और इमेज 32,768 टोकन

GLM 5.3 सिर्फ़ टेक्स्ट वाला है। BroadNet Gemma 4 VL 26B की कीमत प्रति 10 लाख इनपुट टोकन $0.10 है और यह $5 के मुफ़्त शुरुआती क्रेडिट पर चलता है। Qwen3.8 27B को BroadNet ने अरबी में टेस्ट किया है और यह structured output भी सपोर्ट करता है। पे-ऐज़-यू-गो पर इमेज इनपुट टोकन के रूप में गिनी जाती है, और बड़ी इमेज ज़्यादा टोकन लेती हैं।

अरबी इनवॉइस गाइड पूरा extraction क़दम-दर-क़दम दिखाती है। data URL में MIME टाइप सही रखें, और reasoning मॉडल पर max_tokens में जगह छोड़ें।

अक्सर पूछे जाने वाले सवाल

क्या विज़न-लैंग्वेज मॉडल और OCR एक ही हैं?

नहीं। OCR इमेज में छपे टेक्स्ट को अक्षरों में बदलता है। VLM भी टेक्स्ट पढ़ सकता है, पर वह लेआउट और सामग्री समझता है, इसलिए ऐसे सवालों का जवाब दे सकता है कि कौन-सी लाइन टोटल है या चार्ट क्या दिखाता है।

क्या इमेज पर टोकन ख़र्च होते हैं?

हाँ। इमेज इनपुट टोकन में बदली जाती हैं। बड़ी इमेज आम तौर पर ज़्यादा टोकन लेती हैं, इसलिए उन्हें उस सबसे छोटे साइज़ पर रीसाइज़ करें जिसमें ज़रूरी डिटेल बची रहे।

BroadNet के कौन-से मॉडल इमेज लेते हैं?

DeepSeek V4.1 Flash, Qwen3.8 27B और BroadNet Gemma 4 VL 26B टेक्स्ट और इमेज इनपुट लेते हैं। GLM 5.3 सिर्फ़ टेक्स्ट वाला है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें