BroadRouter

アラビア語 OCR と Vision LLM:アラビア語の文書と請求書を読み取る

BroadNet Inference チーム · 約 5 分で読めます · 公開日

従来の OCR はアラビア語のページ画像を生のテキストに変換し、Vision LLM は画像を読んで、販売者、日付、合計など指定したフィールドを JSON で返します。請求書やレシートでは、Vision LLM を使えば通常は解析の手間が省けます。BroadNet Inference では、Qwen3.8 27B、DeepSeek V4.1 Flash、BroadNet Gemma 4 VL 26B が画像を受け付けます。

Parcels on a conveyor labelled "FRAGILE", "ZERBRECHLICH" and "取扱注意", with the text "From printed text to useful data."

対応が必要なアラビア語の請求書、レシート、フォームには、Vision LLM を使ってください。画像を読み、販売者、VAT 番号、日付、合計など指定したフィールドを JSON で返します。長いスキャンページの全文検索やオフラインの処理には、従来の光学文字認識(OCR)を使ってください。どちらの場合も、数値はコードでチェックします。

以下の理由から、アラビア語ではどちらの方法も英語より難しくなります。

アラビア語の OCR はなぜ難しいのですか?

  • **つながる文字。**アラビア文字は互いにつながり、ほとんどの文字に最大 4 つの形(独立形、語頭形、語中形、語末形)があります。OCR エンジンは、境界の見えない単語を分割しなければなりません。
  • **点が意味を持つ。**ب ت ث ن ي は同じ基本形を共有し、点だけで区別されます。低解像度のスキャンや折り目 1 つで、ある文字が別の文字に変わることがあります。
  • 1 行に 2 つの方向。「المجموع: 1,250.00 SAR」のような請求書の行では、右から左のアラビア語と、左から右の数字やラテン文字が混在します。OCR の出力は誤った表示順で返ることが多く、表示の際に Unicode 双方向アルゴリズムによってさらに並べ替えられます。
  • **2 種類の数字。**湾岸やエジプトの文書では、0–9 ではなく東アラビア数字(٠١٢٣٤٥٦٧٨٩)が印刷されていることが多く、同じページに両方あることもあります。
  • **書体とスタンプ。**装飾的な Naskh や Ruq’ah の見出し、合計に重なる社印、感熱紙レシートの退色は、いずれも認識を妨げます。

OCR と Vision LLM、それぞれ何が得られますか?

従来の OCR Vision LLM
出力 生のテキスト。単語の位置付きのことが多い 求めたものすべて。フィールド、JSON、要約、翻訳
レイアウトの理解 ルールやテンプレートを自分で書く モデルが推論する(「合計は右下にある」)
新しい請求書レイアウト 新しいテンプレートやルールが必要 通常は変更なしで機能する
翻訳 別のステップ 同じリクエスト
予測可能性 同じ入力なら決定的 変わることがある。出力を検証する
ハルシネーションのリスク 低い(読み違えるが、捏造はしない) 実在する。もっともらしいが誤った値を出すことがある
最適な用途 長いスキャン文書やアーカイブの全文検索 対応が必要な請求書、レシート、身分証、フォーム

重要なトレードオフはこうです。OCR は読み違えますが、捏造はしません。Vision LLM は理解しますが、もっともらしい値をハルシネーションで作り出すことがあります。良いパイプラインは、理解には LLM を、チェックにはコードを使います。

Vision LLM でアラビア語の請求書を読むには?

画像を base64 の data URL としてメッセージの content に入れて送り、必要なフィールドを正確に求めます。全体の手順は Vision で請求書を読むガイドにあります。核となる部分は次のとおりです。

import base64, json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
image = base64.b64encode(open("invoice.jpg", "rb").read()).decode()

prompt = """Read this invoice. Reply with JSON only, using these keys:
vendor_name (as written, Arabic script if Arabic), vendor_vat_number, invoice_number,
invoice_date (YYYY-MM-DD), currency (ISO code), subtotal, vat_amount, total,
line_items (list of {description, quantity, unit_price, amount}).
Convert Eastern Arabic numerals to Western digits. Use null for anything you cannot read."""

r = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=3000,  # reasoning comes first
    messages=[{"role": "user", "content": [
        {"type": "text", "text": prompt},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + image}},
    ]}],
)
data = json.loads(r.choices[0].message.content)

デバッグ時間を節約する 3 つのポイントです。

  1. どの数字体系がほしいかを伝える。“Convert Eastern Arabic numerals to Western digits”(訳:東アラビア数字を西洋数字に変換する)と書けば、データベースに ١٢٥٠ と 1250 が混在するのを防げます。
  2. **推測ではなく null を求める。**すべてのキーを埋めなければならないと、モデルは値を捏造しやすくなります。
  3. 名前は元の文字のままにする。「مؤسسة النور للتجارة」をラテン文字に音訳すると、綴りのゆれを招きます。アラビア語のまま保存し、英語が必要なら別途翻訳してください。

モデルが空の回答を返した場合は、推論中に max_tokens を使い切っています。推論トークンと空の応答を参照してください。より厳密な JSON の形については JSON スキーマによる構造化出力を参照してください。無料の JSON スキーマジェネレーターは、サンプルの請求書からスキーマを作成します。

読み違えた数字はどう見つけますか?

抽出した値はすべて、データではなく、コードで確かめるべき主張として扱ってください。明細の合計は小計と一致し、小計と VAT の和は合計と一致し、日付は解析でき、未来の日付であってはならず、通貨は販売者の国と合うはずです。サウジアラビアの VAT 番号は長さと形式が決まっているため、安価な追加チェックになります。数字を 1 つ読み違えるとほぼ必ずどこかの和が合わなくなるため、算術チェックで重要な誤りの大部分を見つけられます。チェックに失敗したものは、画像と抽出したフィールドを並べて、人のレビューキューに回します。

Pydantic のスキーマ、算術のバリデーター、エラーメッセージを添えた 1 回の再試行、レビューキューを含む完全なパイプラインは、Vision LLM で請求書やレシートのデータを JSON に抽出するにあります。

アラビア語の文書はどの Vision モデルで読むべきですか?

BroadNet Inference では 3 つのチャットモデルが画像を受け付けます。

モデル 100 万トークンあたりの入力 / 出力 コンテキスト 備考
Qwen3.8 27B $0.175 / $2.17 262,144 BroadNet がアラビア語でテストしたモデル
DeepSeek V4.1 Flash $0.175 / $0.52 1,048,576 無制限の定額プランでも使える
BroadNet Gemma 4 VL 26B $0.10 / $0.22 32,768 BroadNet の Vision モデルで最も安い。無料クレジットと $0.50 の時間制キーで使える

BroadNet は、自社のテストで Qwen3.8 27B が流暢なアラビア語を書き、湾岸方言とエジプト方言を理解し、アラビア語と英語を正確に翻訳したと報告しています。BroadNet は OCR や文書抽出のベンチマークを公開していないため、フィールドの精度は自社の文書で測定してください。実用的な構成は、シンプルなレシートには Gemma 4 VL 26B を使い、検証に失敗したものは Qwen3.8 27B でもう一度処理する方法です。Gemma 4 VL 26B と Qwen3.8 27B の比較で 2 つを並べて比較しています。

Vision LLM のページあたりのコストは?

従量課金のキーでは、画像はモデルの入力価格で入力トークンとして課金され、大きな画像ほど多くのトークンを使います。スマートフォンの写真は長辺をおおよそ 1,500〜2,000 ピクセルに縮小してください。アラビア文字の点には十分な解像度が必要ですが、1,200 万画素の写真で増えるのはほとんどコストだけです。実際の画像いくつかで usage.prompt_tokens を読み取れば、ページあたりのコストがわかります。無制限の DeepSeek V4.1 Flash プランでは、BroadNet のドキュメントによると画像もプランの無制限の利用に含まれます。画像あたり、ページあたりのトークン計算は Vision LLM の画像あたりのコストで詳しく扱っています。

従来の OCR が今も勝るのはどんなときですか?

  • 長いスキャン書籍やアーカイブで、いくつかのフィールドではなく、検索のためにすべての単語が必要な場合。
  • 厳密な再現性が求められ、同じ入力から常に同じテキストが得られなければならない場合。
  • ネットワークのないオフラインやデバイス上での処理。

Tesseract などのオープンソースのエンジンは、アラビア語(ara)の学習データを提供しており、オフラインで動作します。ハイブリッドもうまく機能します。ページを OCR して検索可能なテキストを得て、対応に必要なフィールドについては画像を Vision LLM に送ります。印刷と手書きのアラビア語に対応しているクラウド OCR API と、それぞれの 1,000 ページあたりの費用は、アラビア語 OCR API の比較にあります。

プライバシー

請求書や身分証には、名前、税番号、銀行情報が含まれます。BroadNet Inference はリクエスト後に画像、プロンプト、回答を保持しません。ゼロデータ保持を参照してください。自社のストレージにも同じルールを適用し、必要な抽出フィールドだけを残して、保持する必要のなくなった画像は削除してください。

よくある質問

アラビア語では Vision LLM のほうが OCR より正確ですか?

文書によります。Vision LLM は通常、レイアウトの理解や、請求書・レシートから名前付きのフィールドを取り出すのが得意です。長くきれいな印刷ページでは、専用の OCR のほうが予測しやすいことがあります。自社の文書のサンプルで両方をテストしてください。

Vision LLM は手書きのアラビア語を読めますか?

きれいな手書きなら読めることもあります。続け字や急いで書いた文字では、精度が急速に落ちます。信頼度の低い手書きのフィールドは、人のレビュー担当者に回してください。

BroadNet で画像の読み取りに最も安いモデルは?

BroadNet Gemma 4 VL 26B で、入力 100 万トークンあたり $0.10 です。無料の初回クレジットや、定額の時間制キーでも使えます。

東アラビア数字を西洋数字に変換するには?

モデルに西洋数字で返すよう指示し、コードでも強制します。Python では text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789")) で、すり抜けた東アラビア数字を変換できます。ペルシア数字(۰–۹)は別のコードポイントなので、文書がイランやアフガニスタンのものなら追加してください。

モデルにアラビア語のラベルを英語に翻訳させられますか?

できます。英語のキーで、元のアラビア語の値を残すよう求めるか、両方を求めてください。音訳の誤りを避けるため、名前は元の文字のままにしておきます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く