تخبرك صفة “متعدد الوسائط” بما يستطيع النموذج استقباله. تحقّق دائمًا من القائمة الدقيقة، لأن نموذجين يوصفان كلاهما بأنه متعدد الوسائط قد يقبلان مدخلات مختلفة تمامًا.
كيف يعمل
يتحوّل كل نوع من المدخلات إلى الشيء نفسه الذي يقرؤه النموذج اللغوي أصلًا: سلسلة من المتجهات في نافذة السياق الخاصة به. يمر النص عبر المجزّئ (tokenizer). وتمر الصورة عبر مُشفِّر بصري (vision encoder) فتصبح كتلة من رموز الصور. ويُعالَج الفيديو عادةً على شكل سلسلة من الإطارات، والصوت عبر مُشفِّر صوتي.
وتُظهر بطاقات النماذج مدى دقة هذه التفاصيل، حتى داخل العائلة الواحدة:
| النموذج | المدخلات المذكورة في بطاقة النموذج | المخرجات |
|---|---|---|
| Gemma 4 26B A4B | نص، صورة، فيديو على شكل إطارات؛ لا صوت (تذكر Google الصوت فقط للأحجام E2B وE4B و12B) | نص |
| Qwen3.8 27B | نص، صورة، فيديو | نص |
وتقسّم واجهات API العمل أيضًا بحسب نقطة النهاية. فدليل الصوت لدى OpenAI مثلًا يرسل تفريغ الملفات إلى نقطة نهاية لتحويل الكلام إلى نص، ويوجّه تطبيقات المحادثة التي تحتاج إلى الصوت نحو ميزة منفصلة للصوت داخل المحادثة.
والمصطلح الأضيق للنص مع الصور هو النموذج اللغوي البصري.
لماذا يهم
- التكلفة. تتحوّل المدخلات غير النصية إلى رموز، أو تُحتسب لكل وحدة من الوسائط. وعلى BroadNet تستهلك الصورة الأكبر رموز إدخال أكثر، لذا صغّر الصورة إلى مستوى التفاصيل الذي تحتاجه.
- البنية. إذا لم يكن هناك نموذج واحد يقبل كل مدخلاتك، فاربط النماذج: تحويل الكلام إلى نص أولًا، ثم نموذج نصي أو بصري.
- فحوص الجودة. قراءة فاتورة مطبوعة، أو رسم بياني، أو ملاحظة مكتوبة بخط اليد، مهارات مختلفة. اختبر الوسيط على مستنداتك أنت، لا على صورة عرض توضيحي فقط.
في BroadNet Inference
يُدرج توثيق BroadNet هذه المدخلات لكل نموذج:
| النموذج | المدخلات |
|---|---|
| DeepSeek V4.1 Flash | نص وصور |
| GLM 5.3 | نص |
| Qwen3.8 27B | نص ورؤية |
| BroadNet Gemma 4 VL 26B | نص وصور |
| BroadNet Transcribe Arabic / BroadNet Transcribe | صوت، على /v1/audio/transcriptions |
تُرسَل الصور إلى /v1/chat/completions على شكل عنوان data: URL ضمن قائمة محتوى الرسالة؛ ويتضمن دليل الفواتير العربية مثالًا كاملًا. أما الصوت فطلب منفصل: ملف WAV أو MP3 حتى 26,214,400 بايت، مع ضبط language، كما في دليل الرسائل الصوتية في واتساب. لذا فإن مساعد الرسائل الصوتية يجري استدعاءين: التفريغ، ثم المحادثة.