BroadRouter
Commencer

IA multimodale (multimodal AI)

Mis à jour

L’IA multimodale désigne un modèle ou un système qui travaille avec plusieurs types de données, comme le texte, les images, la vidéo et l’audio. Un modèle multimodal peut lire une photo et une question ensemble, ou recevoir de la parole et répondre en texte. Le modèle vision-langage en est le type le plus courant.

Aussi appelé : modèle multimodal, IA multimodale, entrée multimodale, multimodalité, modalités, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

« Multimodal » vous dit ce qu’un modèle accepte en entrée. Vérifiez toujours la liste exacte, car deux modèles dits multimodaux peuvent accepter des entrées assez différentes.

Comment ça marche

Chaque type d’entrée est converti en ce que le modèle de langage lit déjà : une suite de vecteurs dans sa fenêtre de contexte. Le texte passe par le tokenizer. Une image passe par un encodeur visuel et devient un bloc de tokens d’image. La vidéo est en général traitée comme une série d’images, et l’audio passe par un encodeur audio.

Les fiches des modèles montrent à quel point c’est précis, même au sein d’une famille :

Modèle Entrées indiquées sur la fiche du modèle Sortie
Gemma 4 26B A4B texte, image, vidéo sous forme d’images ; pas d’audio (Google ne mentionne l’audio que pour les tailles E2B, E4B et 12B) texte
Qwen3.8 27B texte, image, vidéo texte

Les API répartissent aussi le travail par endpoint. Le guide audio d’OpenAI, par exemple, envoie la transcription de fichiers vers un endpoint speech-to-text et oriente les applications de chat qui ont besoin d’audio vers une fonction distincte d’audio dans le chat.

Le terme plus restreint pour texte plus images est modèle vision-langage.

Pourquoi c’est important

  • Coût. Les entrées autres que le texte sont converties en tokens ou facturées par unité de média. Sur BroadNet, une image plus grande consomme plus de tokens d’entrée : redimensionnez-la au niveau de détail nécessaire.
  • Architecture. Si aucun modèle n’accepte à lui seul toutes vos entrées, chaînez des modèles : speech-to-text d’abord, puis un modèle texte ou vision.
  • Contrôles de qualité. Lire une facture imprimée, un graphique ou une note manuscrite sont des compétences différentes. Testez la modalité sur vos propres documents, pas seulement sur une image de démo.

Sur BroadNet Inference

La documentation de BroadNet indique ces entrées par modèle :

Modèle Entrée
DeepSeek V4.1 Flash texte et images
GLM 5.3 texte
Qwen3.8 27B texte et vision
BroadNet Gemma 4 VL 26B texte et images
BroadNet Transcribe Arabic / BroadNet Transcribe audio, sur /v1/audio/transcriptions

Les images vont vers /v1/chat/completions sous forme d’URL data: dans la liste de contenu du message ; le guide des factures arabes en donne un exemple complet. L’audio est une requête à part : WAV ou MP3 jusqu’à 26 214 400 octets, avec language renseigné, comme dans le guide des messages vocaux WhatsApp. Un assistant de messages vocaux fait donc deux appels : transcrire, puis discuter.

Questions fréquentes

Un modèle vision-langage est-il multimodal ?

Oui. Le modèle vision-langage est le type de modèle multimodal le plus courant : il prend du texte et des images. Multimodal est le terme plus large et couvre aussi l’audio et la vidéo.

Puis-je envoyer de l’audio à un modèle de chat sur BroadNet ?

La documentation de BroadNet ne mentionne l’audio que sur l’endpoint de transcription. Transcrivez d’abord l’audio, puis envoyez le texte à un modèle de chat.

Les images coûtent-elles plus cher que le texte ?

Avec une clé BroadNet en paiement à l’usage, une image est facturée en tokens d’entrée au prix d’entrée du modèle, et une image plus grande consomme plus de tokens. Avec un forfait, les images sont comprises dans le prix fixe.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity