BroadRouter
Magsimula

Multimodal AI

Na-update

Ang multimodal AI ay isang model o system na gumagana sa higit sa isang uri ng data, gaya ng text, larawan, video at audio. Puwedeng sabay na basahin ng multimodal model ang isang litrato at isang tanong, o tumanggap ng speech at sumagot sa text. Ang vision-language model ang pinakakaraniwang uri.

Tinatawag ding: multimodal, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

Sinasabi ng “multimodal” kung ano ang kayang tanggapin ng isang model. Laging tingnan ang eksaktong listahan, dahil puwedeng magkaibang-magkaiba ang tinatanggap na input ng dalawang model na parehong tinatawag na multimodal.

Paano ito gumagana

Ginagawang iisang bagay ang bawat uri ng input, ang mismong binabasa na ng language model: isang sequence ng mga vector sa context window nito. Dumadaan ang text sa tokenizer. Dumadaan ang larawan sa isang vision encoder at nagiging isang bloke ng image token. Kadalasang tinatrato ang video bilang serye ng mga frame, at ang audio ay dumadaan sa isang audio encoder.

Ipinapakita ng mga model card kung gaano ito ka-espesipiko, kahit sa iisang pamilya:

Model Mga input na nakalista sa model card nito Output
Gemma 4 26B A4B text, larawan, video bilang mga frame; walang audio (sa mga laki lang na E2B, E4B at 12B inililista ng Google ang audio) text
Qwen3.8 27B text, larawan, video text

Hinahati rin ng mga API ang trabaho ayon sa endpoint. Halimbawa, ipinapadala ng audio guide ng OpenAI ang transcription ng file sa isang speech-to-text endpoint at itinuturo sa hiwalay na audio-in-chat feature ang mga chat app na nangangailangan ng audio.

Ang mas makitid na termino para sa text at larawan ay vision-language model.

Bakit ito mahalaga

  • Gastos. Ginagawang token ang mga input na hindi text, o sinisingil kada yunit ng media. Sa BroadNet, mas maraming input token ang nagagamit ng mas malaking larawan, kaya i-resize ito sa detalyeng kailangan mo.
  • Arkitektura. Kung walang iisang model na tumatanggap sa lahat ng input mo, pagdugtungin ang mga model: speech-to-text muna, saka text o vision model.
  • Pagsuri sa kalidad. Magkakaibang kakayahan ang pagbasa ng naka-print na invoice, ng chart o ng sulat-kamay na note. I-test ang modality sa sarili mong mga dokumento, hindi lang sa isang demo na larawan.

Sa BroadNet Inference

Inililista ng docs ng BroadNet ang mga input na ito kada model:

Model Input
DeepSeek V4.1 Flash text at larawan
GLM 5.3 text
Qwen3.8 27B text at vision
BroadNet Gemma 4 VL 26B text at larawan
BroadNet Transcribe Arabic / BroadNet Transcribe audio, sa /v1/audio/transcriptions

Ipinapadala ang mga larawan sa /v1/chat/completions bilang data: URL sa content list ng message; may buong halimbawa ang gabay sa Arabic invoice. Hiwalay na request ang audio: WAV o MP3 hanggang 26,214,400 bytes, na naka-set ang language, gaya ng sa gabay sa WhatsApp voice notes. Kaya dalawang tawag ang ginagawa ng isang voice-note assistant: transcribe, saka chat.

Mga tanong

Multimodal ba ang vision-language model?

Oo. Ang vision-language model ang pinakakaraniwang uri ng multimodal model, na tumatanggap ng text at larawan. Mas malawak na termino ang multimodal at sakop din nito ang audio at video.

Puwede ba akong magpadala ng audio sa isang chat model sa BroadNet?

Sa transcription endpoint lang nakalista ang audio sa docs ng BroadNet. I-transcribe muna ang audio, saka ipadala ang text sa isang chat model.

Mas mahal ba ang larawan kaysa text?

Sa mga pay-as-you-go key ng BroadNet, sinisingil ang isang larawan bilang input token sa input price ng model, at mas maraming token ang nagagamit ng mas malaking larawan. Sa isang plan, kasama ang mga larawan sa flat na presyo.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity