« Multimodal » vous dit ce qu’un modèle accepte en entrée. Vérifiez toujours la liste exacte, car deux modèles dits multimodaux peuvent accepter des entrées assez différentes.
Comment ça marche
Chaque type d’entrée est converti en ce que le modèle de langage lit déjà : une suite de vecteurs dans sa fenêtre de contexte. Le texte passe par le tokenizer. Une image passe par un encodeur visuel et devient un bloc de tokens d’image. La vidéo est en général traitée comme une série d’images, et l’audio passe par un encodeur audio.
Les fiches des modèles montrent à quel point c’est précis, même au sein d’une famille :
| Modèle | Entrées indiquées sur la fiche du modèle | Sortie |
|---|---|---|
| Gemma 4 26B A4B | texte, image, vidéo sous forme d’images ; pas d’audio (Google ne mentionne l’audio que pour les tailles E2B, E4B et 12B) | texte |
| Qwen3.8 27B | texte, image, vidéo | texte |
Les API répartissent aussi le travail par endpoint. Le guide audio d’OpenAI, par exemple, envoie la transcription de fichiers vers un endpoint speech-to-text et oriente les applications de chat qui ont besoin d’audio vers une fonction distincte d’audio dans le chat.
Le terme plus restreint pour texte plus images est modèle vision-langage.
Pourquoi c’est important
- Coût. Les entrées autres que le texte sont converties en tokens ou facturées par unité de média. Sur BroadNet, une image plus grande consomme plus de tokens d’entrée : redimensionnez-la au niveau de détail nécessaire.
- Architecture. Si aucun modèle n’accepte à lui seul toutes vos entrées, chaînez des modèles : speech-to-text d’abord, puis un modèle texte ou vision.
- Contrôles de qualité. Lire une facture imprimée, un graphique ou une note manuscrite sont des compétences différentes. Testez la modalité sur vos propres documents, pas seulement sur une image de démo.
Sur BroadNet Inference
La documentation de BroadNet indique ces entrées par modèle :
| Modèle | Entrée |
|---|---|
| DeepSeek V4.1 Flash | texte et images |
| GLM 5.3 | texte |
| Qwen3.8 27B | texte et vision |
| BroadNet Gemma 4 VL 26B | texte et images |
| BroadNet Transcribe Arabic / BroadNet Transcribe | audio, sur /v1/audio/transcriptions |
Les images vont vers /v1/chat/completions sous forme d’URL data: dans la liste de contenu du message ; le guide des factures arabes en donne un exemple complet. L’audio est une requête à part : WAV ou MP3 jusqu’à 26 214 400 octets, avec language renseigné, comme dans le guide des messages vocaux WhatsApp. Un assistant de messages vocaux fait donc deux appels : transcrire, puis discuter.