視覚言語モデルを使えば、テキストについて尋ねるのと同じように、画像について質問できます。
仕組み
Hugging Face はこれらのモデルを簡潔に説明しています。“take in an image and text prompt and output text.”(訳:画像とテキストのプロンプトを受け取り、テキストを出力する)。画像とテキストのペアで学習しているため、見たものと言葉を結びつけることを学んでいます。
OpenAI 互換 API では、画像はメッセージ内のコンテンツパートとして送ります。公開 URL でも、base64 の data URL でもかまいません。
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
モデルは画像を入力トークンに変換し、テキストとあわせて読み取り、回答を書きます。
なぜ重要か
- 文書。 請求書、レシート、申込書、身分証をそのままモデルに渡せます。多くの場合、構造化出力と組み合わせて項目を JSON で受け取ります。
- 画面とグラフ。 エージェントはスクリーンショットやダッシュボードを読めますし、サポートツールはユーザーが送った写真を読めます。
- コストと上限。 画像は 1 枚ごとに入力トークンを増やし、コンテキストウィンドウの一部を埋めます。1 回のリクエストに多くの画像を入れると、すぐに積み上がります。
結果は必ず確認してください。VLM は小さい文字やぼやけた文字を読み誤ることがあり、間違った数字を自信ありげに出すこともあります。お金が動く処理では、合計をコードで検証してください。
BroadNet Inference では
画像を受け付けるチャットモデルは 3 つです。
| モデル | 入力 | コンテキスト |
|---|---|---|
| DeepSeek V4.1 Flash | テキストと画像 | 1,048,576 トークン |
| Qwen3.8 27B | テキストと画像 | 262,144 トークン |
| BroadNet Gemma 4 VL 26B | テキストと画像 | 32,768 トークン |
GLM 5.3 はテキストのみです。BroadNet Gemma 4 VL 26B は入力 100 万トークンあたり $0.10 で、無料の $5 初回クレジットで使えます。Qwen3.8 27B は BroadNet がアラビア語でテストしており、構造化出力にも対応しています。従量課金では、画像は入力トークンとして数えられ、大きな画像ほど多く使います。
アラビア語の請求書ガイドでは、抽出の全手順を説明しています。data URL の MIME タイプは正確にし、推論モデルでは max_tokens に余裕を持たせてください。