Rechnungen, Belege und Formulare haben alle dasselbe Problem: Die Daten stecken in einem Bild, und Sie brauchen sie in einer Datenbank. Vorlagenbasiertes OCR bricht bei jedem neuen Lieferanten-Layout. Ein Vision-Language-Modell liest die Seite und liefert die Felder direkt. Der Haken: Es kann sich mit voller Überzeugung irren, die Arbeit steckt also in der Pipeline drumherum. Dieser Beitrag behandelt die allgemeine Pipeline für jede Sprache. Für arabische Dokumente siehe arabische Rechnungen mit Vision lesen zur Einrichtung und arabisches OCR vs. Vision-LLMs dazu, wann klassisches OCR das bessere Werkzeug ist.
Wie sieht die Pipeline aus?
- Vorbereiten jeder Seite: PDFs als Bilder rendern, Drehung korrigieren, verkleinern.
- Extrahieren: eine Anfrage pro Dokument mit einem Prompt Feld für Feld, nur JSON.
- Validieren: parsen, Schema prüfen, Rechnung prüfen.
- Wiederholen, einmal mit der Fehlermeldung, wenn die Validierung scheitert.
- Prüfen: Was dann noch scheitert, geht mit Bild und Entwurf an einen Menschen.
- Messen Sie die Feldgenauigkeit an einer gelabelten Stichprobe und wiederholen Sie die Messung bei jedem Wechsel von Modell oder Prompt.
Wie bereiten Sie Dokumentbilder vor?
Rendern Sie PDFs mit PyMuPDF als Bilder und halten Sie den kleinsten Text scharf, ohne mehr Pixel als nötig zu senden:
# pip install pymupdf pillow
import base64, io
import pymupdf # older code imports it as fitz
from PIL import Image
def pdf_pages_as_data_urls(path, long_edge=1800):
urls = []
for page in pymupdf.open(path):
pix = page.get_pixmap(dpi=200)
img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
img.thumbnail((long_edge, long_edge))
buf = io.BytesIO()
img.save(buf, format="JPEG", quality=90)
urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
return urls
Bei BroadNet Inference kommen Bilder als data:-URLs mit korrektem MIME-Typ in die Nachricht und werden bei Pay-as-you-go als Input-Tokens abgerechnet; größere Bilder verbrauchen mehr. Messen Sie die Tokens pro Seite einmal über den usage-Block und bemessen Sie Ihre Batches danach; wie das geht, zeigt Tokens vor dem Senden zählen, und Vision-LLM-Kosten pro Bild rechnet Tokens in Kosten pro Seite um. Um die Tokens pro Seite vor dem ersten Senden abzuschätzen, ziehen Sie einen Beispielscan in den Bild-Token-Rechner.
Wie sollten Sie den Extraktions-Prompt schreiben?
Seien Sie genau bei Schlüsseln, Typen, Formaten und fehlenden Werten. Wenn Sie außerdem ein JSON Schema zur Validierung oder für Anbieter brauchen, die eines erzwingen, erstellt der kostenlose JSON-Schema-Generator es aus einer Beispielrechnung:
PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""
„Never guess“ (Übersetzung: nie raten) plus ein ausdrückliches null ist das Wichtigste. Ohne das füllen Modelle Lücken mit plausiblen Werten, und das ist schlimmer als ein leeres Feld, weil es eine naive Prüfung besteht.
Wie bekommen Sie strukturierte Ausgabe und validieren sie?
Es gibt zwei Stufen von Structured Output. JSON Mode garantiert gültiges JSON. Schemagebundene Ausgabe garantiert zusätzlich die Struktur. Der Leitfaden von OpenAI sagt es deutlich: Beide erzeugen gültiges JSON, aber nur Structured Outputs stellen die Einhaltung des Schemas sicher. Die Unterstützung für beides variiert je nach Anbieter und Modell; validieren Sie also im Code, egal was die API verspricht:
import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
class Line(BaseModel):
description: str
quantity: Decimal
unit_price: Decimal
line_total: Decimal
class Invoice(BaseModel):
vendor_name: str
vendor_tax_id: str | None = None
invoice_number: str
invoice_date: str
currency: str
line_items: list[Line]
subtotal: Decimal
tax: Decimal | None = None
total: Decimal
@model_validator(mode="after")
def sums(self):
tol = Decimal("0.02")
if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
raise ValueError("line_totals do not sum to subtotal")
if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
raise ValueError("subtotal + tax != total")
return self
def extract(image_urls, model="broadnet/qwen3.8-27b"):
content = [{"type": "text", "text": PROMPT}] + [
{"type": "image_url", "image_url": {"url": u}} for u in image_urls]
messages = [{"role": "user", "content": content}]
for attempt in range(2):
r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
try:
return Invoice.model_validate(json.loads(raw)), r.usage
except (json.JSONDecodeError, ValidationError, ValueError) as e:
messages += [{"role": "assistant", "content": raw},
{"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
return None, r.usage # send to human review
Verwenden Sie für Geldbeträge Decimal, nicht float. Halten Sie max_tokens großzügig: Qwen3.8 27B denkt vor der Antwort nach, und das Reasoning zählt zum Limit; bei einer kleinen Obergrenze kommt ein leerer String zurück. Siehe warum Reasoning-Modelle leere Antworten liefern.
Welche Prüfungen fangen die meisten Fehler ab?
| Prüfung | Fängt ab | Kosten |
|---|---|---|
| JSON lässt sich parsen | Fließtext um das JSON, Abschneiden | Kostenlos |
| Schema validiert | Fehlende Schlüssel, falsche Typen | Kostenlos |
| Positionen ergeben die Zwischensumme | Verlesene Ziffern, übersprungene Positionen | Kostenlos |
| Zwischensumme + Steuer = Gesamtsumme | Verlesene Gesamtsumme oder Steuer | Kostenlos |
| Datum lässt sich parsen und liegt nicht in der Zukunft | Vertauschte Tage/Monate, OCR-Rauschen | Kostenlos |
| Steuer-ID des Lieferanten passt zu Ihrer Lieferantenliste | Falscher Lieferant, Betrug | Ein Lookup |
| Doppelte Rechnungsnummer pro Lieferant | Doppelte Zahlung | Eine Abfrage |
Rechenprüfungen bringen am meisten: Eine einzige verlesene Ziffer bricht fast immer eine Summe. Belegen fehlen oft Details auf Positionsebene; prüfen Sie also, was vorhanden ist, und akzeptieren Sie bei ihnen weniger Prüfungen.
Wie messen Sie die Genauigkeit vor dem Go-live?
Labeln Sie 50 bis 100 echte Dokumente von Hand, lassen Sie die Pipeline laufen und bewerten Sie pro Feld, nicht pro Dokument. Summen und Daten verdienen eine strengere Messlatte als Beschreibungen. Erfassen Sie drei Zahlen: die Feldgenauigkeit, den Anteil der Dokumente, die ohne Retry die Validierung bestehen, und den Anteil, der zur Prüfung geht. Wie Sie diesen Prüfschritt gestalten, einschließlich Stichproben bei bestandenen Dokumenten, steht unter manuelle Prüfung als Teil Ihres Document-AI-Workflows. Wenn Sie ein anderes Modell testen, nutzen Sie dasselbe Set; ein LLM vor dem Wechsel evaluieren beschreibt die Methode.
Welche Vision-Modelle passen bei BroadNet Inference?
| Modell | Bilder | Kontext | Hinweise |
|---|---|---|---|
| Qwen3.8 27B | Ja | 262.144 | Tools, Structured Output und Reasoning gelistet; von BroadNet auf Arabisch getestet |
| Gemma 4 VL 26B | Ja | 32.768 | Niedrigster Preis bei BroadNet; läuft mit dem Gratisguthaben und dem Stundenschlüssel |
| DeepSeek V4.1 Flash | Ja | 1.048.576 | Bilder in den unbegrenzten Plänen enthalten |
Die Preise pro 1 Mio. Tokens stehen auf der Preisseite; multiplizieren Sie Ihre gemessenen Tokens pro Seite im LLM-API-Kostenrechner mit dem Monatsvolumen.
Wo BroadNet Inference passt
BroadNet Inference nimmt bei drei Chat-Modellen Bilder über das Standard-Nachrichtenformat von OpenAI an und bewahrt Prompts, Bilder und Antworten nach der Anfrage nicht auf. Das zählt bei Rechnungen voller Namen, Steuer-IDs und Bankdaten (Zero Data Retention). Die Doku listet Structured Output für Qwen3.8 27B, dokumentiert aber keine Schema-Parameter; verlassen Sie sich also auf die Validierungsschicht oben statt darauf, dass die API Ihr Schema erzwingt. BroadNet veröffentlicht weder ein Größenlimit für Bilder noch ein eigenes Document-AI-Produkt, und die Doku beschreibt Bild-Input, keinen PDF-Upload; rendern Sie Seiten also zuerst als Bilder. Für große Durchläufe mit festem Budget enthält ein unbegrenzter DeepSeek-V4.1-Flash-Plan Bilder.

