ビジョンモデルは請求書を読めますが、数字を 1 つ読み違えたり、行を飛ばしたり、存在しない項目をでっち上げたりすることもあります。プロンプトを改善するだけでは解決しません。必要なのは、最初から設計に組み込んだレビュー工程です。どの書類を人が見るかを決めるルール、その理由を伝えるキュー、そして誤り率を証明できるログです。
この記事はその工程を扱います。抽出そのもの(画像の準備、JSON のプロンプト、スキーマ検証、リトライ)はビジョン LLM で書類からデータを抽出するを、アラビア語特有の読み取りはビジョンでアラビア語の請求書を読むを参照してください。ここでは、すでに JSON が返ってきていて、どれを信頼するかを決める段階を前提にします。
書類を人がレビューするかどうかは何で決めるべきですか?
モデルへの印象ではなく、コードでテストできるルールです。まずは次のものから、価値の高い順に始めてください。
| ルール | 理由コードの例 | 重要な理由 |
|---|---|---|
| 必須項目の欠落 | missing:total |
null は正直です。推測した値のほうが悪い |
| 金額の不一致 | arithmetic:subtotal+tax!=total |
数字を 1 つ読み違えると、ほぼ必ずどこかの合計が合わなくなる |
| 明細の合計が合わない | arithmetic:lines!=subtotal |
行の読み飛ばしや重複を捕まえる |
| 日付がパースできない、または範囲外 | date:unparsed |
日と月の入れ替わりや OCR のノイズを捕まえる |
| 未知の取引先税番号 | vendor:unknown |
新しい仕入先も不正も、ここから始まる |
| 想定外の通貨 | currency:unexpected |
記号を読み違えると金額が変わる |
| モデルが自信がないと答えた | model:not_confident |
あくまで示唆。唯一の関門にはしない |
キューを使えるものにする設計上の判断が 2 つあります。1 つ目は、どのルールも短く安定した理由コードを出すことです。レビュー担当者は何を確認すべきかを知ったうえで書類を開けますし、どのルールが最も多く発火しているかも数えられます。2 つ目は、書類はすべてのルールを通過するか、人に回るかのどちらかにすることです。監査人に誰も説明できない重み付きスコアは避けてください。
モデルの確信度は信頼すべきですか?
弱い信号として扱ってください。項目ごとに high、medium、low の確信度を付けるようモデルに頼めば、付けてはくれます。しかし Xiong ほか(ICLR 2024)は LLM に確信度を述べさせる手法をベンチマークし、モデルは自分がどれだけ確かかを述べるとき “tend to be overconfident”(訳:過信する傾向がある)と報告しています。プロンプトやサンプリングの工夫は効果があったものの、他を一貫して上回る手法はありませんでした。API によってはトークンの対数確率も使えます。BroadNet の API リファレンスには logprobs の記載がないので、BroadNet ではそれを前提に設計しないでください。
実用的なルールはこうです。モデルの確信度が「high」未満か、確信度がまったく付いていなければレビューに回しますが、「high」でもコードのチェックは絶対に省略しません。数百件をレビューしたら、「high」の項目で本当に修正が少なかったかを確認します。少なくなかったなら、その信号は捨ててください。
書類をキューに振り分けるには?
このルーターは抽出と検証の後に動きます。アラビア・インド数字を正規化し、上のルールを適用し、review、audit_sample、auto の 3 つのキューから 1 つを決めます。API 呼び出しのない素の Python なので、単体テストできます。
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation
REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"} # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05 # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")
def money(v):
"""'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
if v is None:
return None
s = str(v).translate(DIGITS).replace(",", "").strip()
try:
return Decimal(s)
except InvalidOperation:
return None
def check(doc: dict, today: date) -> list[str]:
"""Return the reasons this document needs a person. Empty list = may auto-approve."""
reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
reasons.append("arithmetic:subtotal+tax!=total")
lines = [money(l.get("amount")) for l in doc.get("lines", [])]
if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
reasons.append("arithmetic:lines!=subtotal")
try:
d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
if d > today or (today - d).days > 400:
reasons.append("date:out_of_range")
except ValueError:
reasons.append("date:unparsed")
if doc.get("currency") and doc["currency"] not in CURRENCIES:
reasons.append("currency:unexpected")
if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
reasons.append("vendor:unknown")
if doc.get("model_confidence", "low") != "high": # a hint from the prompt, never the only gate
reasons.append("model:not_confident")
return reasons
def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
reasons = check(doc, today)
if reasons:
queue = "review"
elif rng() < AUTO_SAMPLE_RATE:
queue, reasons = "audit_sample", ["sample:random"]
else:
queue = "auto"
return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
"reasons": reasons, "ts": int(time.time())}
架空のサウジアラビアの請求書 3 件でテストしました(取引先も税番号も架空です)。日付と小計をアラビア・インド数字(٢٠٢٦-١١-٠٢ と ١٬٠٠٠٫٠٠)で書いたクリーンな 1 件は auto に入りました。同じ請求書で総額を 1,105.00 と読み違えたものは、arithmetic:subtotal+tax!=total を付けて review に入りました。税番号が未知で、月が 13、確信度が「medium」の 1 件は、date:unparsed、vendor:unknown、model:not_confident の 3 つの理由を付けて review に入りました。乱数を 0.05 未満に固定すると、クリーンな請求書は audit_sample に入りました。
知っておくべき制約が 2 つあります。money() ヘルパーは小数点がドットかアラビア語の小数点であることを前提にしています。ヨーロッパ式の「1.150,00」には、取引先の国に応じた専用のパーサーが必要です。また、日付のルールはモデルが ISO 形式の日付を返すことを前提にしています。ヒジュラ暦の日付は、アラビア語の固有表現抽出のように先に変換が必要です。
アラビア語と英語の請求書では何が変わりますか?
湾岸地域では二言語の請求書がよくあります。アラビア語と英語のラベルが並び、金額は西洋数字かアラビア・インド数字で、取引先名は 2 つの文字で書かれています。次のルールが役立ちます。
- チェックの前に数字を正規化する。 ٠–٩ とペルシア数字 ۰–۹ を 0–9 に、アラビア語の小数点と桁区切り(٫ と ٬)を ASCII の形に変換してから比較します。
- 取引先は名前ではなく税番号で照合する。 アラビア語名も英語名も、マスターデータと一字一句一致することはまずありません。登録番号なら一致します。
- レビュー担当者には両方の名前を見せる。 抽出したアラビア語と英語の取引先名をマスターレコードと並べ、アラビア語は右から左の独立したブロックで表示します。双方向テキストの表示は多言語プロダクトの設計で扱っています。
- 構造化された請求書があるか確認する。 サウジアラビアの ZATCA は、2021 年 12 月 4 日と 2023 年 1 月 1 日からの 2 段階で電子インボイス(Fatoorah)を運用しており、構造化された電子形式の請求書を軸にしています。仕入先がその形式で送れるなら、画像を読むのではなくそれをパースし、ビジョンは紙、写真、ロングテールに取っておきます。
読み取り側(発音記号、混在する文字、レイアウト)はビジョン LLM によるアラビア語 OCRで扱っています。
レビュー担当者には何を見せるべきですか?
よいレビュー画面は、理由コードごとに 1 つの問いに答えます。arithmetic なら、明細、小計、税額、総額を計算した合計と並べて表示します。vendor:unknown なら、抽出した税番号と最も近いマスターレコードを表示します。date:unparsed なら、生の日付テキストと、それを読み取った画像の切り抜きを表示します。
画像は別タブではなく項目の隣に表示してください。レビュー担当者が項目を修正する、承認する、判読不能として却下する、のいずれかを選べるようにし、どの操作をしたかを記録します。「判読不能」は有用なデータです。ある仕入先の書類の 10% が判読不能なら、モデルに奇跡を求めるのではなく、その仕入先に PDF を求めてください。
すべてのルールを通過した書類をなぜ抜き取るのですか?
ルールは想定した誤りしか捕まえられないからです。モデルが明細、小計、総額を同じ分だけ読み違えた場合(かすれた 7 が 3 か所すべてで 1 と読まれた場合など)、合計はすべて一致し、どのルールも発火しません。こうした誤りを見つける唯一の方法は、誰もフラグを立てなかった書類を見ることです。
選ぶのではなくランダムに抜き取り、修正が必要だった件数を記録します。サンプルが小さいと幅は広くなります。NIST のハンドブックが比率について説明している 95% Wilson 区間(Agresti と Coull、および Brown、Cai、DasGupta の推奨を引用)を使うと、後述の指標コードでは次のようになります。
| 誤りゼロだった監査件数 | 真の誤り率がなお取り得る上限 |
|---|---|
| 50 | 約 7.1% |
| 300 | 約 1.3% |
つまり「50 件監査して何も見つからなかった」は、誤り率が 1% 未満という意味ではありません。プロンプト、モデル、書類の構成を変えたらサンプルを増やし、減らすときはゆっくりにしてください。
監査証跡はどう残しますか?
修正は自社のシステムに記録します。書類ごとに、次の内容を含む行が必要です。
- 元ファイルの SHA-256 ハッシュ(と、保持ルールに従ってファイル自体をどこに保管しているか)
- モデル ID、プロンプトのバージョン、モデルが返した生の JSON
- サポートへの問い合わせ用に、プロバイダーのリクエスト ID(BroadNet は
X-Request-IDヘッダーで返します) - ルールの結果とキュー
- レビュー担当者、時刻、操作、修正した各項目の修正前と修正後の値
ゼロデータ保持の API では、これがいっそう重要になります。BroadNet のプライバシー声明によると、同社のゲートウェイはプロンプト、画像、レスポンス、文字起こしを一切保持せず、内容を含まないアカウント、課金、トラフィック、セキュリティの記録だけを保持します。機密性の高い請求書にとっては好都合ですが、先月モデルが何を見て何を答えたかを、プロバイダー側の誰も示せないということでもあります。記録は自社のログだけです。不要なものは入れないでください。何をログに残し何を伏せるかはLLM API の利用ログで扱っています。
レビュー率はどう測りますか?
ルーティングログに修正を結合して、毎週次のコードを実行します。
import math
from collections import Counter
def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
"""95% Wilson score interval for an error rate seen in a sample."""
if n == 0:
return (0.0, 1.0)
p = errors / n
centre = (p + z * z / (2 * n)) / (1 + z * z / n)
half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
return (max(0.0, centre - half), min(1.0, centre + half))
def report(log: list[dict]) -> dict:
queues = Counter(r["queue"] for r in log)
reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
audited = [r for r in log if r["queue"] == "audit_sample"]
wrong = sum(1 for r in audited if r.get("corrected_fields"))
lo, hi = wilson(wrong, len(audited))
return {"documents": len(log),
"review_rate": round(queues["review"] / len(log), 3),
"top_reasons": reasons.most_common(3),
"audited": len(audited), "audited_with_errors": wrong,
"auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
1,000 件の書類からなる合成の 1 週間分(auto 760 件、review 190 件、監査 50 件のうち修正が必要だったのは 2 件)では、レビュー率 0.19、最多の理由は vendor で 120 件、監査誤り率は 1.1%〜13.5% と出ました。このサンプルサイズでは、最後の範囲こそが「自動化はどれくらい正確か」への正直な答えです。
3 つの数値はまとめて読んでください。
- レビュー率が下がり、監査誤りは横ばい: ルールが厳しすぎたか、モデルが改善しました。よい傾向です。
- レビュー率が下がり、監査誤りが上がる: ルールが緩すぎます。誤りが台帳に届く前に締めてください。
- 1 つの理由が突出している: 原因を直します。
vendor:unknownが首位なら仕入先マスターを更新し、arithmeticが首位なら画像の品質を確認するか、乗り換え前の LLM 評価の方法で、同じ書類を別のモデルで試してください。
BroadNet Inference の位置づけ
BroadRouter は BroadNet 自身のサイトです。BroadNet Inference の価格フィードによると、画像を受け付けるチャットモデルは 3 つあります。Qwen3.8 27B(100 万トークンあたり入力 $0.175、出力 $2.17、構造化出力の記載あり)、Gemma 4 VL 26B($0.10 / $0.22、$5 の初回クレジットで利用可能)、DeepSeek V4.1 Flash($0.175 / $0.52)です。従量課金では画像は入力トークンとして数えられます。見積もりには画像トークン計算ツールが役立ちます。推論の内容は保持されません。必要なアカウント、課金、セキュリティのメタデータは、BroadNet のプライバシー声明に記載のとおり保持されます。BroadNet はレビューキューや監査ログを提供しないので、上のルーティングと記録は自分で構築し、保管する必要があります。
