“Multimodal” diz o que um modelo consegue receber. Confira sempre a lista exata, porque dois modelos chamados de multimodais podem aceitar entradas bem diferentes.
Como funciona
Cada tipo de entrada é transformado na mesma coisa que o modelo de linguagem já lê: uma sequência de vetores na janela de contexto dele. O texto passa pelo tokenizer. Uma imagem passa por um encoder de visão e vira um bloco de tokens de imagem. O vídeo costuma ser tratado como uma série de quadros, e o áudio passa por um encoder de áudio.
Os model cards mostram como isso fica específico, mesmo dentro de uma família:
| Modelo | Entradas listadas no model card | Saída |
|---|---|---|
| Gemma 4 26B A4B | texto, imagem, vídeo como quadros; sem áudio (o Google lista áudio só para os tamanhos E2B, E4B e 12B) | texto |
| Qwen3.8 27B | texto, imagem, vídeo | texto |
As APIs também dividem o trabalho por endpoint. O guia de áudio da OpenAI, por exemplo, manda a transcrição de arquivos para um endpoint de fala para texto e direciona apps de chat que precisam de áudio para um recurso separado de áudio no chat.
O termo mais restrito para texto mais imagens é modelo de visão e linguagem.
Por que importa
- Custo. Entradas que não são texto são convertidas em tokens ou cobradas por unidade de mídia. Na BroadNet, uma imagem maior usa mais tokens de entrada, então redimensione para o nível de detalhe de que você precisa.
- Arquitetura. Se nenhum modelo sozinho aceita todas as suas entradas, encadeie modelos: primeiro fala para texto, depois um modelo de texto ou de visão.
- Checagens de qualidade. Ler uma nota fiscal impressa, um gráfico ou uma anotação à mão são habilidades diferentes. Teste a modalidade com os seus próprios documentos, não só com uma imagem de demonstração.
Na BroadNet Inference
A documentação da BroadNet lista estas entradas por modelo:
| Modelo | Entrada |
|---|---|
| DeepSeek V4.1 Flash | texto e imagens |
| GLM 5.3 | texto |
| Qwen3.8 27B | texto e visão |
| BroadNet Gemma 4 VL 26B | texto e imagens |
| BroadNet Transcribe Arabic / BroadNet Transcribe | áudio, em /v1/audio/transcriptions |
Imagens vão para /v1/chat/completions como uma URL data: na lista de conteúdo da mensagem; o guia de notas fiscais em árabe tem um exemplo completo. Áudio é uma requisição separada: WAV ou MP3 de até 26.214.400 bytes, com language definido, como no guia de mensagens de voz do WhatsApp. Um assistente de mensagens de voz faz, portanto, duas chamadas: transcrever e depois conversar.