BroadRouter
始める

視覚言語モデル(VLM、vision-language model)

更新日

視覚言語モデル(VLM)とは、画像とテキストを一緒に入力として受け取り、テキストを出力するモデルです。画像の説明、画像についての質問への回答、文書・グラフ・スクリーンショットの読み取りができます。image-text-to-text モデルやマルチモーダルモデルとも呼ばれます。

別名: 視覚言語モデル、ビジョン言語モデル、画像認識 AI、マルチモーダル LLM、画像理解 API、VLM、vision-language model、vision model、multimodal LLM、image-text-to-text model、vision API

視覚言語モデルを使えば、テキストについて尋ねるのと同じように、画像について質問できます。

仕組み

Hugging Face はこれらのモデルを簡潔に説明しています。“take in an image and text prompt and output text.”(訳:画像とテキストのプロンプトを受け取り、テキストを出力する)。画像とテキストのペアで学習しているため、見たものと言葉を結びつけることを学んでいます。

OpenAI 互換 API では、画像はメッセージ内のコンテンツパートとして送ります。公開 URL でも、base64 の data URL でもかまいません。

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

モデルは画像を入力トークンに変換し、テキストとあわせて読み取り、回答を書きます。

なぜ重要か

  • 文書。 請求書、レシート、申込書、身分証をそのままモデルに渡せます。多くの場合、構造化出力と組み合わせて項目を JSON で受け取ります。
  • 画面とグラフ。 エージェントはスクリーンショットやダッシュボードを読めますし、サポートツールはユーザーが送った写真を読めます。
  • コストと上限。 画像は 1 枚ごとに入力トークンを増やし、コンテキストウィンドウの一部を埋めます。1 回のリクエストに多くの画像を入れると、すぐに積み上がります。

結果は必ず確認してください。VLM は小さい文字やぼやけた文字を読み誤ることがあり、間違った数字を自信ありげに出すこともあります。お金が動く処理では、合計をコードで検証してください。

BroadNet Inference では

画像を受け付けるチャットモデルは 3 つです。

モデル 入力 コンテキスト
DeepSeek V4.1 Flash テキストと画像 1,048,576 トークン
Qwen3.8 27B テキストと画像 262,144 トークン
BroadNet Gemma 4 VL 26B テキストと画像 32,768 トークン

GLM 5.3 はテキストのみです。BroadNet Gemma 4 VL 26B は入力 100 万トークンあたり $0.10 で、無料の $5 初回クレジットで使えます。Qwen3.8 27B は BroadNet がアラビア語でテストしており、構造化出力にも対応しています。従量課金では、画像は入力トークンとして数えられ、大きな画像ほど多く使います。

アラビア語の請求書ガイドでは、抽出の全手順を説明しています。data URL の MIME タイプは正確にし、推論モデルでは max_tokens に余裕を持たせてください。

よくある質問

視覚言語モデルと OCR は同じものですか?

いいえ。OCR は画像内の印刷された文字を文字データに変換します。VLM も文字を読めますが、レイアウトや内容を理解するので、どの行が合計か、グラフが何を示しているか、といった質問にも答えられます。

画像にもトークンがかかりますか?

はい。画像は入力トークンに変換されます。大きな画像ほど通常は多く使うので、必要な細部が残る最小のサイズに縮小してください。

BroadNet で画像を受け付けるモデルはどれですか?

DeepSeek V4.1 Flash、Qwen3.8 27B、BroadNet Gemma 4 VL 26B がテキストと画像の入力に対応しています。GLM 5.3 はテキストのみです。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く