BroadRouter
ابدأ الآن

الذكاء الاصطناعي متعدد الوسائط (Multimodal AI)

آخر تحديث

الذكاء الاصطناعي متعدد الوسائط هو نموذج أو نظام يتعامل مع أكثر من نوع من البيانات، مثل النص والصور والفيديو والصوت. فقد يقرأ النموذج متعدد الوسائط صورة وسؤالًا معًا، أو يستقبل كلامًا ويجيب نصًا. والنموذج اللغوي البصري هو أشهر أنواعه.

يُسمّى أيضًا: متعدد الوسائط، نموذج متعدد الوسائط، الذكاء الاصطناعي متعدد الوسائط، المدخلات متعددة الوسائط، الوسائط، multimodal، multimodal model، multimodal AI model، multimodal input، multi-modal، modalities

تخبرك صفة “متعدد الوسائط” بما يستطيع النموذج استقباله. تحقّق دائمًا من القائمة الدقيقة، لأن نموذجين يوصفان كلاهما بأنه متعدد الوسائط قد يقبلان مدخلات مختلفة تمامًا.

كيف يعمل

يتحوّل كل نوع من المدخلات إلى الشيء نفسه الذي يقرؤه النموذج اللغوي أصلًا: سلسلة من المتجهات في نافذة السياق الخاصة به. يمر النص عبر المجزّئ (tokenizer). وتمر الصورة عبر مُشفِّر بصري (vision encoder) فتصبح كتلة من رموز الصور. ويُعالَج الفيديو عادةً على شكل سلسلة من الإطارات، والصوت عبر مُشفِّر صوتي.

وتُظهر بطاقات النماذج مدى دقة هذه التفاصيل، حتى داخل العائلة الواحدة:

النموذج المدخلات المذكورة في بطاقة النموذج المخرجات
Gemma 4 26B A4B نص، صورة، فيديو على شكل إطارات؛ لا صوت (تذكر Google الصوت فقط للأحجام E2B وE4B و12B) نص
Qwen3.8 27B نص، صورة، فيديو نص

وتقسّم واجهات API العمل أيضًا بحسب نقطة النهاية. فدليل الصوت لدى OpenAI مثلًا يرسل تفريغ الملفات إلى نقطة نهاية لتحويل الكلام إلى نص، ويوجّه تطبيقات المحادثة التي تحتاج إلى الصوت نحو ميزة منفصلة للصوت داخل المحادثة.

والمصطلح الأضيق للنص مع الصور هو النموذج اللغوي البصري.

لماذا يهم

  • التكلفة. تتحوّل المدخلات غير النصية إلى رموز، أو تُحتسب لكل وحدة من الوسائط. وعلى BroadNet تستهلك الصورة الأكبر رموز إدخال أكثر، لذا صغّر الصورة إلى مستوى التفاصيل الذي تحتاجه.
  • البنية. إذا لم يكن هناك نموذج واحد يقبل كل مدخلاتك، فاربط النماذج: تحويل الكلام إلى نص أولًا، ثم نموذج نصي أو بصري.
  • فحوص الجودة. قراءة فاتورة مطبوعة، أو رسم بياني، أو ملاحظة مكتوبة بخط اليد، مهارات مختلفة. اختبر الوسيط على مستنداتك أنت، لا على صورة عرض توضيحي فقط.

في BroadNet Inference

يُدرج توثيق BroadNet هذه المدخلات لكل نموذج:

النموذج المدخلات
DeepSeek V4.1 Flash نص وصور
GLM 5.3 نص
Qwen3.8 27B نص ورؤية
BroadNet Gemma 4 VL 26B نص وصور
BroadNet Transcribe Arabic / BroadNet Transcribe صوت، على /v1/audio/transcriptions

تُرسَل الصور إلى /v1/chat/completions على شكل عنوان data: URL ضمن قائمة محتوى الرسالة؛ ويتضمن دليل الفواتير العربية مثالًا كاملًا. أما الصوت فطلب منفصل: ملف WAV أو MP3 حتى 26,214,400 بايت، مع ضبط language، كما في دليل الرسائل الصوتية في واتساب. لذا فإن مساعد الرسائل الصوتية يجري استدعاءين: التفريغ، ثم المحادثة.

أسئلة شائعة

هل النموذج اللغوي البصري متعدد الوسائط؟

نعم. النموذج اللغوي البصري هو أشهر أنواع النماذج متعددة الوسائط، ويقبل النص والصور. أما "متعدد الوسائط" فهو المصطلح الأوسع، ويشمل الصوت والفيديو أيضًا.

هل أستطيع إرسال صوت إلى نموذج محادثة على BroadNet؟

لا يُدرج توثيق BroadNet الصوت إلا في نقطة نهاية التفريغ الصوتي. فرّغ الصوت أولًا، ثم أرسل النص إلى نموذج محادثة.

هل تكلّف الصور أكثر من النص؟

على مفاتيح الدفع حسب الاستخدام في BroadNet تُحتسب الصورة رموز إدخال بسعر الإدخال الخاص بالنموذج، والصورة الأكبر تستهلك رموزًا أكثر. أما في الخطط فالصور جزء من السعر الثابت.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity