“मल्टीमोडल” बताता है कि कोई मॉडल क्या-क्या ले सकता है। हमेशा सटीक सूची जाँचें, क्योंकि मल्टीमोडल कहलाने वाले दो मॉडल काफ़ी अलग इनपुट ले सकते हैं।
यह कैसे काम करता है
हर तरह का इनपुट उसी चीज़ में बदला जाता है जिसे लैंग्वेज मॉडल पहले से पढ़ता है: उसकी कॉन्टेक्स्ट विंडो में वेक्टरों की एक sequence। टेक्स्ट tokenizer से गुज़रता है। इमेज एक vision encoder से गुज़रकर इमेज टोकन का एक ब्लॉक बनती है। वीडियो आम तौर पर फ़्रेम की एक श्रृंखला के रूप में सँभाला जाता है, और ऑडियो एक audio encoder से।
मॉडल कार्ड दिखाते हैं कि यह कितना बारीक होता है, एक ही परिवार के अंदर भी:
| मॉडल | मॉडल कार्ड पर दिए इनपुट | आउटपुट |
|---|---|---|
| Gemma 4 26B A4B | टेक्स्ट, इमेज, फ़्रेम के रूप में वीडियो; ऑडियो नहीं (Google ऑडियो सिर्फ़ E2B, E4B और 12B साइज़ के लिए बताता है) | टेक्स्ट |
| Qwen3.8 27B | टेक्स्ट, इमेज, वीडियो | टेक्स्ट |
API भी काम को एंडपॉइंट के हिसाब से बाँटते हैं। उदाहरण के लिए, OpenAI की ऑडियो गाइड फ़ाइल ट्रांसक्रिप्शन को speech-to-text एंडपॉइंट पर भेजती है, और जिन चैट ऐप को ऑडियो चाहिए उन्हें एक अलग audio-in-chat फ़ीचर की ओर ले जाती है।
टेक्स्ट और इमेज के लिए ज़्यादा सीमित शब्द vision-language मॉडल है।
यह क्यों मायने रखता है
- लागत. टेक्स्ट के अलावा दूसरे इनपुट टोकन में बदले जाते हैं या मीडिया की इकाई के हिसाब से बिल होते हैं। BroadNet पर बड़ी इमेज ज़्यादा इनपुट टोकन लेती है, इसलिए उतने डिटेल तक ही resize करें जितना चाहिए।
- आर्किटेक्चर. अगर कोई अकेला मॉडल आपके सारे इनपुट नहीं लेता, तो मॉडल जोड़ें: पहले speech-to-text, फिर टेक्स्ट या vision मॉडल।
- क्वालिटी जाँच. छपा हुआ इनवॉइस, चार्ट या हाथ से लिखा नोट पढ़ना अलग-अलग हुनर हैं। हर modality को अपने दस्तावेज़ों पर टेस्ट करें, सिर्फ़ डेमो इमेज पर नहीं।
BroadNet Inference पर
BroadNet के डॉक्स हर मॉडल के लिए ये इनपुट बताते हैं:
| मॉडल | इनपुट |
|---|---|
| DeepSeek V4.1 Flash | टेक्स्ट और इमेज |
| GLM 5.3 | टेक्स्ट |
| Qwen3.8 27B | टेक्स्ट और vision |
| BroadNet Gemma 4 VL 26B | टेक्स्ट और इमेज |
| BroadNet Transcribe Arabic / BroadNet Transcribe | ऑडियो, /v1/audio/transcriptions पर |
इमेज /v1/chat/completions पर मैसेज content सूची में data: URL के रूप में जाती हैं; अरबी इनवॉइस गाइड में पूरा उदाहरण है। ऑडियो एक अलग अनुरोध है: 26,214,400 बाइट तक की WAV या MP3, language सेट करके, जैसा WhatsApp वॉइस नोट गाइड में है। इसलिए वॉइस नोट असिस्टेंट दो कॉल करता है: पहले ट्रांसक्राइब, फिर चैट।