Ein Vision-Modell kann eine Rechnung lesen, aber es kann sich auch bei einer Ziffer verlesen, eine Zeile überspringen oder ein Feld erfinden, das es nicht gibt. Die Lösung ist nicht allein ein besserer Prompt. Es ist ein Prüfschritt, der vom ersten Tag an mitgeplant wird: Regeln, die entscheiden, welche Dokumente ein Mensch sieht, eine Queue, die ihm sagt, warum, und ein Protokoll, mit dem Sie die Fehlerquote belegen können.
Um diesen Schritt geht es hier. Die Extraktion selbst (Bildvorbereitung, JSON-Prompt, Schema-Validierung und Retries) steht in Daten aus Dokumenten mit einem Vision-LLM extrahieren, das Lesen arabischer Dokumente in arabische Rechnungen mit Vision lesen. Wir gehen davon aus, dass Sie bereits JSON zurückbekommen und entscheiden müssen, was Sie davon glauben.
Was sollte entscheiden, ob ein Mensch ein Dokument prüft?
Regeln, die Sie im Code testen können, kein Bauchgefühl über das Modell. Beginnen Sie mit diesen, geordnet nach Nutzen:
| Regel | Beispiel-Grundcode | Warum es wichtig ist |
|---|---|---|
| Pflichtfeld fehlt | missing:total |
Ein null ist ehrlich, ein geratener Wert ist schlimmer |
| Summen stimmen nicht | arithmetic:subtotal+tax!=total |
Eine falsch gelesene Ziffer bricht fast immer eine Summe |
| Positionen ergeben nicht die Zwischensumme | arithmetic:lines!=subtotal |
Findet übersprungene oder doppelte Zeilen |
| Datum nicht lesbar oder außerhalb des Bereichs | date:unparsed |
Findet vertauschte Tage/Monate und OCR-Rauschen |
| Unbekannte Steuernummer des Lieferanten | vendor:unknown |
Neue Lieferanten und Betrug beginnen beide hier |
| Unerwartete Währung | currency:unexpected |
Ein falsch gelesenes Symbol ändert den Betrag |
| Modell gibt an, unsicher zu sein | model:not_confident |
Ein Hinweis, nie die einzige Schranke |
Zwei Designentscheidungen machen die Queue brauchbar. Erstens erzeugt jede Regel einen kurzen, stabilen Grundcode: Ein Prüfer öffnet das Dokument und weiß, was er kontrollieren muss, und Sie können zählen, welche Regel am häufigsten greift. Zweitens besteht ein Dokument entweder alle Regeln oder geht an einen Menschen. Vermeiden Sie gewichtete Scores, die niemand einem Prüfer oder Auditor erklären kann.
Sollten Sie der Konfidenz des Modells vertrauen?
Behandeln Sie sie als schwaches Signal. Sie können das Modell bitten, jedes Feld mit hoher, mittlerer oder niedriger Konfidenz zu bewerten, und es wird das tun. Xiong et al. (ICLR 2024) haben jedoch Verfahren verglichen, mit denen LLMs ihre Konfidenz angeben, und festgestellt, dass Modelle „tend to be overconfident“ (Übersetzung: „eher übermäßig selbstsicher sind“), wenn sie sagen, wie sicher sie sind. Besseres Prompting und Sampling halfen, aber keine Methode schlug die anderen durchgehend. Token-Log-Probabilities sind bei manchen APIs eine weitere Option. Die API-Referenz von BroadNet dokumentiert logprobs nicht, planen Sie dort also nicht damit.
Die praktische Regel: Alles unter „high“ vom Modell, oder gar keine Bewertung, schickt das Dokument in die Prüfung, ein „high“ überspringt aber nie die Prüfungen im Code. Kontrollieren Sie nach einigen hundert geprüften Dokumenten, ob „high“-Felder wirklich seltener korrigiert wurden. Falls nicht, verwerfen Sie das Signal.
Wie leiten Sie Dokumente in eine Queue?
Dieser Router läuft nach Extraktion und Validierung. Er normalisiert arabisch-indische Ziffern, wendet die Regeln oben an und wählt eine von drei Queues: review, audit_sample oder auto. Es ist reines Python ohne API-Aufruf, Sie können es also per Unit-Test prüfen.
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation
REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"} # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05 # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")
def money(v):
"""'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
if v is None:
return None
s = str(v).translate(DIGITS).replace(",", "").strip()
try:
return Decimal(s)
except InvalidOperation:
return None
def check(doc: dict, today: date) -> list[str]:
"""Return the reasons this document needs a person. Empty list = may auto-approve."""
reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
reasons.append("arithmetic:subtotal+tax!=total")
lines = [money(l.get("amount")) for l in doc.get("lines", [])]
if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
reasons.append("arithmetic:lines!=subtotal")
try:
d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
if d > today or (today - d).days > 400:
reasons.append("date:out_of_range")
except ValueError:
reasons.append("date:unparsed")
if doc.get("currency") and doc["currency"] not in CURRENCIES:
reasons.append("currency:unexpected")
if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
reasons.append("vendor:unknown")
if doc.get("model_confidence", "low") != "high": # a hint from the prompt, never the only gate
reasons.append("model:not_confident")
return reasons
def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
reasons = check(doc, today)
if reasons:
queue = "review"
elif rng() < AUTO_SAMPLE_RATE:
queue, reasons = "audit_sample", ["sample:random"]
else:
queue = "auto"
return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
"reasons": reasons, "ts": int(time.time())}
Wir haben ihn mit drei erfundenen saudischen Rechnungen getestet (Lieferant und Steuernummer sind fiktiv). Eine saubere Rechnung, deren Datum und Zwischensumme in arabisch-indischen Ziffern geschrieben waren (٢٠٢٦-١١-٠٢ und ١٬٠٠٠٫٠٠), ging an auto. Dieselbe Rechnung mit der Gesamtsumme falsch gelesen als 1,105.00 ging an review mit arithmetic:subtotal+tax!=total. Eine mit unbekannter Steuernummer, Monat 13 und Konfidenz „medium“ ging an review mit drei Gründen: date:unparsed, vendor:unknown und model:not_confident. Mit einer erzwungenen Zufallszahl unter 0,05 ging die saubere Rechnung an audit_sample.
Zwei Grenzen sollten Sie kennen. Der Helfer money() setzt einen Punkt oder das arabische Dezimaltrennzeichen voraus; ein europäisches „1.150,00“ braucht einen eigenen Parser, der sich nach dem Land des Lieferanten richtet. Und die Datumsregel setzt voraus, dass das Modell ISO-Daten liefert. Hidschri-Daten müssen vorher umgerechnet werden, wie in arabische Named-Entity-Extraktion beschrieben.
Was ändert sich bei arabischen und englischen Rechnungen?
Zweisprachige Rechnungen sind am Golf üblich: arabische und englische Beschriftungen nebeneinander, Beträge in westlichen oder arabisch-indischen Ziffern, der Lieferantenname in zwei Schriften. Einige Regeln helfen:
- Ziffern vor jeder Prüfung normalisieren. Bilden Sie ٠–٩ und die persischen ۰–۹ auf 0–9 ab und die arabischen Dezimal- und Tausendertrennzeichen (٫ und ٬) auf ihre ASCII-Formen. Vergleichen Sie erst danach.
- Lieferanten über die Steuernummer abgleichen, nicht über den Namen. Arabischer und englischer Name stimmen selten Zeichen für Zeichen mit Ihrem Stammsatz überein. Die Registrierungsnummer schon.
- Beide Namen für den Prüfer anzeigen. Zeigen Sie den extrahierten arabischen und englischen Lieferantennamen neben dem Stammsatz, das Arabische in einem isolierten Rechts-nach-links-Block. Der Beitrag zu mehrsprachigem Produktdesign behandelt die Bidi-Darstellung.
- Prüfen, ob es eine strukturierte Rechnung gibt. Die saudische Behörde ZATCA führt die elektronische Rechnungsstellung (Fatoorah) in zwei Phasen ein, ab 4. Dezember 2021 und ab 1. Januar 2023, aufgebaut auf Rechnungen in einem strukturierten elektronischen Format. Kann ein Lieferant Ihnen das schicken, parsen Sie es, statt ein Bild davon zu lesen, und behalten Sie Vision für Papier, Fotos und den Long Tail.
Arabisches OCR mit einem Vision-LLM behandelt die Leseseite: Diakritika, gemischte Schriften und Layout.
Was sollte der Prüfer sehen?
Eine gute Prüfansicht beantwortet eine Frage pro Grundcode. Zeigen Sie bei arithmetic Positionen, Zwischensumme, Steuer und Gesamtsumme nebeneinander mit der berechneten Summe. Zeigen Sie bei vendor:unknown die extrahierte Steuernummer und die ähnlichsten Stammsätze. Zeigen Sie bei date:unparsed den rohen Datumstext und den Bildausschnitt, aus dem er stammt.
Zeigen Sie das Bild neben den Feldern, nicht in einem anderen Tab. Lassen Sie den Prüfer ein Feld korrigieren, freigeben oder das Dokument als unlesbar ablehnen. Halten Sie fest, welche Aktion er gewählt hat. „Unlesbar“ ist nützliche Information: Sind 10 % der Dokumente eines Lieferanten unlesbar, bitten Sie diesen Lieferanten um PDFs, nicht Ihr Modell um ein Wunder.
Warum Dokumente stichprobenartig prüfen, die alle Regeln bestanden haben?
Weil Regeln nur die Fehler finden, an die Sie gedacht haben. Liest ein Modell eine Position, die Zwischensumme und die Gesamtsumme um denselben Betrag falsch (eine verschmierte 7, an allen drei Stellen als 1 gelesen), stimmen alle Summen weiterhin und keine Regel greift. Solche Fehler finden Sie nur, wenn Sie sich Dokumente ansehen, die niemand markiert hat.
Ziehen Sie die Stichprobe zufällig, nicht nach Auswahl, und zählen Sie, wie viele Dokumente korrigiert werden mussten. Eine kleine Stichprobe ergibt eine große Spannweite. Mit dem 95-%-Wilson-Intervall, das das NIST-Handbuch für Anteile beschreibt (unter Verweis auf Empfehlungen von Agresti und Coull sowie von Brown, Cai und DasGupta), liefert unser Metrik-Code unten:
| Auditierte Dokumente ohne gefundene Fehler | Wahre Fehlerquote könnte noch bis zu … betragen |
|---|---|
| 50 | etwa 7,1 % |
| 300 | etwa 1,3 % |
„Wir haben 50 auditiert und nichts gefunden“ heißt also nicht, dass die Fehlerquote unter 1 % liegt. Erhöhen Sie die Stichprobe nach jeder Änderung an Prompt, Modell oder Dokumentenmix, und senken Sie sie nur langsam.
Wie führen Sie einen Audit-Trail?
Erfassen Sie Korrekturen in Ihrem eigenen System. Jedes Dokument braucht einen Datensatz mit:
- einem SHA-256-Hash der Quelldatei (und dem Ort, an dem die Datei selbst gemäß Ihren Aufbewahrungsregeln liegt);
- der Modell-ID, der Prompt-Version und dem rohen JSON, das das Modell zurückgegeben hat;
- der Request-ID des Anbieters (BroadNet liefert sie im Header
X-Request-ID) für Supportfragen; - den Regelergebnissen und der Queue;
- dem Prüfer, dem Zeitpunkt, der Aktion und dem Vorher- und Nachher-Wert jedes korrigierten Felds.
Mit einer API ohne Datenspeicherung ist das umso wichtiger. Laut der Datenschutzerklärung von BroadNet speichert sein Gateway keine Prompts, Bilder, Antworten oder Transkripte und behält nur inhaltsfreie Konto-, Abrechnungs-, Traffic- und Sicherheitsdaten. Für sensible Rechnungen ist das gut, es bedeutet aber, dass Ihnen beim Anbieter niemand zeigen kann, was das Modell letzten Monat gesehen oder gesagt hat. Ihr Protokoll ist der einzige Nachweis. Halten Sie es frei von allem, was Sie nicht brauchen; Nutzungsprotokollierung für LLM-APIs beschreibt, was Sie protokollieren und was Sie schwärzen sollten.
Wie messen Sie die Prüfquote?
Lassen Sie dies wöchentlich über das Routing-Protokoll laufen, mit den Korrekturen verknüpft:
import math
from collections import Counter
def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
"""95% Wilson score interval for an error rate seen in a sample."""
if n == 0:
return (0.0, 1.0)
p = errors / n
centre = (p + z * z / (2 * n)) / (1 + z * z / n)
half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
return (max(0.0, centre - half), min(1.0, centre + half))
def report(log: list[dict]) -> dict:
queues = Counter(r["queue"] for r in log)
reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
audited = [r for r in log if r["queue"] == "audit_sample"]
wrong = sum(1 for r in audited if r.get("corrected_fields"))
lo, hi = wilson(wrong, len(audited))
return {"documents": len(log),
"review_rate": round(queues["review"] / len(log), 3),
"top_reasons": reasons.most_common(3),
"audited": len(audited), "audited_with_errors": wrong,
"auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
Für eine synthetische Woche mit 1.000 Dokumenten (760 auto, 190 review, 50 auditiert, davon 2 mit Korrekturbedarf) meldete der Code eine Prüfquote von 0,19, vendor als häufigsten Grund mit 120 und eine auditierte Fehlerquote zwischen 1,1 % und 13,5 %. Diese letzte Spanne ist bei dieser Stichprobengröße die ehrliche Antwort auf die Frage „Wie genau ist die Automatisierung?“.
Lesen Sie die drei Zahlen zusammen:
- Prüfquote sinkt, auditierte Fehler bleiben gleich: Eine Regel war zu streng, oder das Modell wurde besser. Gut.
- Prüfquote sinkt, auditierte Fehler steigen: Eine Regel ist zu locker. Verschärfen Sie sie, bevor die Fehler in Ihrer Buchhaltung landen.
- Ein Grund dominiert: Beheben Sie die Ursache. Führt
vendor:unknown, aktualisieren Sie die Lieferantenstammdaten; führtarithmetic, prüfen Sie die Bildqualität oder testen Sie ein anderes Modell mit denselben Dokumenten, nach der Methode aus ein LLM vor dem Wechsel evaluieren.
Wo BroadNet Inference ins Bild passt
BroadRouter ist die eigene Website von BroadNet. Laut seinem Preis-Feed bietet BroadNet Inference drei Chat-Modelle, die Bilder verarbeiten: Qwen3.8 27B ($0.175 Input / $2.17 Output pro 1 Mio. Tokens, mit dokumentierter strukturierter Ausgabe), Gemma 4 VL 26B ($0.10 / $0.22, nutzbar mit dem Startguthaben von $5) und DeepSeek V4.1 Flash ($0.175 / $0.52). Bei Pay-as-you-go zählen Bilder als Input-Tokens; der Bild-Token-Rechner hilft bei der Schätzung. Inferenzinhalte werden nicht gespeichert; notwendige Konto-, Abrechnungs- und Sicherheitsmetadaten werden gespeichert, wie in der Datenschutzerklärung von BroadNet beschrieben. BroadNet bietet keine Prüf-Queue und kein Audit-Log; das Routing und die Aufzeichnungen oben bauen und führen Sie selbst.
