“ملٹی موڈل” بتاتا ہے کہ کوئی ماڈل کیا کیا لے سکتا ہے۔ ہمیشہ درست فہرست دیکھیں، کیونکہ ملٹی موڈل کہلانے والے دو ماڈل کافی مختلف ان پٹ قبول کر سکتے ہیں۔
یہ کیسے کام کرتا ہے
ہر قسم کا ان پٹ اسی چیز میں بدلا جاتا ہے جسے لینگویج ماڈل پہلے سے پڑھتا ہے: اس کی کانٹیکسٹ ونڈو میں ویکٹرز کی ایک ترتیب۔ متن tokenizer سے گزرتا ہے۔ تصویر ایک vision encoder سے گزر کر تصویری ٹوکنز کا ایک بلاک بنتی ہے۔ ویڈیو عموماً فریمز کی ایک سیریز کے طور پر سنبھالی جاتی ہے، اور آڈیو ایک audio encoder کے ذریعے۔
ماڈل کارڈز دکھاتے ہیں کہ یہ کتنا مخصوص ہو جاتا ہے، ایک ہی خاندان کے اندر بھی:
| ماڈل | ماڈل کارڈ پر درج ان پٹ | آؤٹ پٹ |
|---|---|---|
| Gemma 4 26B A4B | متن، تصویر، فریمز کی صورت میں ویڈیو؛ آڈیو نہیں (Google آڈیو صرف E2B، E4B اور 12B سائز کے لیے بتاتا ہے) | متن |
| Qwen3.8 27B | متن، تصویر، ویڈیو | متن |
APIs بھی کام کو اینڈپوائنٹ کے لحاظ سے تقسیم کرتے ہیں۔ مثال کے طور پر OpenAI کی آڈیو گائیڈ فائل ٹرانسکرپشن کو speech-to-text اینڈپوائنٹ پر بھیجتی ہے، اور جن چیٹ ایپس کو آڈیو چاہیے انہیں ایک الگ audio-in-chat فیچر کی طرف لے جاتی ہے۔
متن اور تصاویر کے لیے محدود تر اصطلاح vision-language ماڈل ہے۔
یہ کیوں اہم ہے
- لاگت۔ متن کے علاوہ ان پٹ ٹوکنز میں بدلے جاتے ہیں یا میڈیا کی اکائی کے حساب سے بل ہوتے ہیں۔ BroadNet پر بڑی تصویر زیادہ ان پٹ ٹوکن لیتی ہے، اس لیے اتنی ہی تفصیل تک resize کریں جتنی ضرورت ہے۔
- آرکیٹیکچر۔ اگر کوئی اکیلا ماڈل آپ کے تمام ان پٹ قبول نہیں کرتا تو ماڈلز جوڑیں: پہلے speech-to-text، پھر متن یا vision ماڈل۔
- معیار کی جانچ۔ چھپی ہوئی انوائس، چارٹ یا ہاتھ سے لکھا نوٹ پڑھنا الگ الگ مہارتیں ہیں۔ ہر modality کو اپنی دستاویزات پر ٹیسٹ کریں، صرف ڈیمو تصویر پر نہیں۔
BroadNet Inference پر
BroadNet کی دستاویزات ہر ماڈل کے لیے یہ ان پٹ درج کرتی ہیں:
| ماڈل | ان پٹ |
|---|---|
| DeepSeek V4.1 Flash | متن اور تصاویر |
| GLM 5.3 | متن |
| Qwen3.8 27B | متن اور vision |
| BroadNet Gemma 4 VL 26B | متن اور تصاویر |
| BroadNet Transcribe Arabic / BroadNet Transcribe | آڈیو، /v1/audio/transcriptions پر |
تصاویر /v1/chat/completions پر میسج content فہرست میں data: URL کے طور پر جاتی ہیں؛ عربی انوائس گائیڈ میں مکمل مثال ہے۔ آڈیو ایک الگ درخواست ہے: 26,214,400 بائٹس تک کی WAV یا MP3، language سیٹ کر کے، جیسا کہ WhatsApp وائس نوٹس گائیڈ میں ہے۔ اس لیے وائس نوٹ اسسٹنٹ دو کالز کرتا ہے: پہلے ٹرانسکرائب، پھر چیٹ۔