「マルチモーダル」は、モデルが何を受け取れるかを表します。どちらもマルチモーダルと呼ばれる 2 つのモデルでも、受け付ける入力がかなり違うことがあるので、必ず具体的な一覧を確認してください。
仕組み
各入力は、言語モデルがもともと読めるもの、つまりコンテキストウィンドウ内のベクトル列に変換されます。テキストはトークナイザーを通ります。画像はビジョンエンコーダーを通って、画像トークンのまとまりになります。動画は通常フレームの連続として扱われ、音声は音声エンコーダーを通ります。
モデルカードを見ると、同じファミリーの中でもどれほど細かく違うかがわかります。
| モデル | モデルカードに記載の入力 | 出力 |
|---|---|---|
| Gemma 4 26B A4B | テキスト、画像、フレームとしての動画。音声はなし(Google は音声を E2B、E4B、12B サイズにのみ記載) | テキスト |
| Qwen3.8 27B | テキスト、画像、動画 | テキスト |
API もエンドポイントごとに役割を分けています。たとえば OpenAI の音声ガイドは、ファイルの文字起こしを音声認識エンドポイントに送り、音声が必要なチャットアプリには別の「チャットでの音声」機能を案内しています。
テキストと画像に限った、より狭い言葉が視覚言語モデルです。
なぜ重要か
- コスト。 テキスト以外の入力は、トークンに換算されるか、メディアの単位で課金されます。BroadNet では大きな画像ほど入力トークンが増えるので、必要な精細さまで縮小してください。
- アーキテクチャ。 手元のすべての入力を受け付けるモデルが 1 つもなければ、モデルをつなぎます。まず音声認識、次にテキストまたはビジョンのモデルです。
- 品質チェック。 印刷された請求書、グラフ、手書きのメモを読むのは、それぞれ別のスキルです。デモ画像だけでなく、自社の文書でそのモダリティをテストしてください。
BroadNet Inference の場合
BroadNet のドキュメントには、モデルごとに次の入力が記載されています。
| モデル | 入力 |
|---|---|
| DeepSeek V4.1 Flash | テキストと画像 |
| GLM 5.3 | テキスト |
| Qwen3.8 27B | テキストとビジョン |
| BroadNet Gemma 4 VL 26B | テキストと画像 |
| BroadNet Transcribe Arabic / BroadNet Transcribe | 音声(/v1/audio/transcriptions) |
画像は、メッセージのコンテンツリストに data: URL として入れて /v1/chat/completions に送ります。完全な例はアラビア語請求書のガイドにあります。音声は別のリクエストで、WAV または MP3、最大 26,214,400 バイト、language を指定します。WhatsApp ボイスメッセージのガイドを参照してください。つまり、ボイスメッセージのアシスタントは、文字起こしとチャットの 2 回の呼び出しを行います。