---
title: "マルチモーダル AI とは？テキスト・画像・音声 | BroadRouter"
description: "マルチモーダルモデルは、テキスト、画像、動画、音声など複数の種類の入力を受け取れます。API での各入力のコストと、1 つのモデルで足りないときのつなぎ方を解説します。"
url: https://broadrouter.com/ja/glossary/multimodal/
lang: ja
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/glossary/multimodal/) (2026-11-16 更新).

# マルチモーダル AI（multimodal AI）

更新日 2026-11-16

マルチモーダル AI とは、テキスト、画像、動画、音声など複数の種類のデータを扱うモデルやシステムです。写真と質問を一緒に読んだり、音声を受け取ってテキストで答えたりします。最も一般的なのは視覚言語モデルです。

別名： マルチモーダル、マルチモーダル AI、マルチモーダルモデル、マルチモーダル LLM、マルチモーダル入力、モダリティ、multimodal、multimodal model、multimodal AI model、multimodal input、multi-modal、modalities

「マルチモーダル」は、モデルが何を受け取れるかを表します。どちらもマルチモーダルと呼ばれる 2 つのモデルでも、受け付ける入力がかなり違うことがあるので、必ず具体的な一覧を確認してください。

## 仕組み

各入力は、言語モデルがもともと読めるもの、つまり[コンテキストウィンドウ](https://broadrouter.com/ja/glossary/context-window/)内のベクトル列に変換されます。テキストは[トークナイザー](https://broadrouter.com/ja/glossary/tokenizer/)を通ります。画像はビジョンエンコーダーを通って、画像トークンのまとまりになります。動画は通常フレームの連続として扱われ、音声は音声エンコーダーを通ります。

モデルカードを見ると、同じファミリーの中でもどれほど細かく違うかがわかります。

| モデル | モデルカードに記載の入力 | 出力 |
| --- | --- | --- |
| Gemma 4 26B A4B | テキスト、画像、フレームとしての動画。音声はなし（Google は音声を E2B、E4B、12B サイズにのみ記載） | テキスト |
| Qwen3.8 27B | テキスト、画像、動画 | テキスト |

API もエンドポイントごとに役割を分けています。たとえば OpenAI の音声ガイドは、ファイルの文字起こしを音声認識エンドポイントに送り、音声が必要なチャットアプリには別の「チャットでの音声」機能を案内しています。

テキストと画像に限った、より狭い言葉が[視覚言語モデル](https://broadrouter.com/ja/glossary/vision-language-model/)です。

## なぜ重要か

-   **コスト。** テキスト以外の入力は、トークンに換算されるか、メディアの単位で課金されます。BroadNet では大きな画像ほど入力トークンが増えるので、必要な精細さまで縮小してください。
-   **アーキテクチャ。** 手元のすべての入力を受け付けるモデルが 1 つもなければ、モデルをつなぎます。まず音声認識、次にテキストまたはビジョンのモデルです。
-   **品質チェック。** 印刷された請求書、グラフ、手書きのメモを読むのは、それぞれ別のスキルです。デモ画像だけでなく、自社の文書でそのモダリティをテストしてください。

## BroadNet Inference の場合

BroadNet のドキュメントには、モデルごとに次の入力が記載されています。

| モデル | 入力 |
| --- | --- |
| DeepSeek V4.1 Flash | テキストと画像 |
| GLM 5.3 | テキスト |
| [Qwen3.8 27B](https://broadrouter.com/ja/models/qwen3.8-27b/) | テキストとビジョン |
| [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ja/models/gemma-4-vl-26b/) | テキストと画像 |
| BroadNet Transcribe Arabic / BroadNet Transcribe | 音声（`/v1/audio/transcriptions`） |

画像は、メッセージのコンテンツリストに `data:` URL として入れて `/v1/chat/completions` に送ります。完全な例は[アラビア語請求書のガイド](https://broadrouter.com/ja/guides/read-arabic-invoices-with-vision/)にあります。音声は別のリクエストで、WAV または MP3、最大 26,214,400 バイト、`language` を指定します。[WhatsApp ボイスメッセージのガイド](https://broadrouter.com/ja/guides/transcribe-whatsapp-voice-notes/)を参照してください。つまり、ボイスメッセージのアシスタントは、文字起こしとチャットの 2 回の呼び出しを行います。

## よくある質問

### 視覚言語モデルはマルチモーダルですか？

はい。視覚言語モデルはテキストと画像を受け取る、最も一般的なマルチモーダルモデルです。マルチモーダルはより広い言葉で、音声や動画も含みます。

### BroadNet ではチャットモデルに音声を送れますか？

BroadNet のドキュメントでは、音声は文字起こしエンドポイントにしか記載されていません。まず音声を文字起こしし、そのテキストをチャットモデルに送ってください。

### 画像はテキストより高くつきますか？

BroadNet の従量課金キーでは、画像はモデルの入力単価で入力トークンとして課金され、大きな画像ほど多くのトークンを使います。プランでは、画像も定額料金に含まれます。

## 関連項目

-   [視覚言語モデル（VLM、vision-language model）](https://broadrouter.com/ja/glossary/vision-language-model/) (用語)
-   [OCR（光学文字認識）](https://broadrouter.com/ja/glossary/ocr/) (用語)
-   [音声認識（Speech-to-Text）](https://broadrouter.com/ja/glossary/speech-to-text/) (用語)
-   [トークン（token）](https://broadrouter.com/ja/glossary/token/) (用語)
-   [コンテキストウィンドウ（context window）](https://broadrouter.com/ja/glossary/context-window/) (用語)
-   [ビジョンモデルでアラビア語の請求書とレシートを読み取る](https://broadrouter.com/ja/guides/read-arabic-invoices-with-vision/) (ガイド)
-   [WhatsApp のボイスメッセージを API で文字起こしする](https://broadrouter.com/ja/guides/transcribe-whatsapp-voice-notes/) (ガイド)
-   [ビジョン LLM で請求書・領収書・帳票のデータを JSON に抽出する](https://broadrouter.com/ja/blog/extract-data-from-documents-with-vision-llm/) (記事)
-   [最安の画像対応 LLM API：画像 1 枚・1 ページあたりのコストを計算](https://broadrouter.com/ja/blog/cheapest-vision-llm-api/) (記事)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-multimodal&utm_content=page-cta) ·

**出典**

-   [Hugging Face モデルカード、google/gemma-4-26B-A4B-it（サイズ別のモダリティ）（2026-11-16 確認）](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Hugging Face モデルカード、Qwen/Qwen3.8-27B（画像と動画の入力）（2026-11-16 確認）](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [OpenAI、音声とスピーチのガイド（文字起こしとチャットでの音声）（2026-11-16 確認）](https://developers.openai.com/api/docs/guides/audio)
-   [BroadNet Inference API リファレンス、モデルとモダリティ（2026-11-16 確認） （英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-multimodal&utm_content=sources)
