BroadRouter

Rechnungs-, Beleg- und Formulardaten mit einem Vision-LLM als JSON

Vom Team von BroadNet Inference · 4 Min. Lesezeit · Veröffentlicht

Rendern Sie jede Seite als Bild, senden Sie es an ein Vision-Modell mit einem Prompt, der jedes Feld und sein Format nennt, und verlangen Sie nur JSON. Validieren Sie dann im Code: parsen, Schema prüfen, prüfen, ob die Positionen die Gesamtsumme ergeben, und einmal mit dem Fehler wiederholen. Wiederholte Fehlschläge gehen an einen Menschen.

A paper invoice headed "فاتورة" (invoice) with tabs labelled Vendor, Date and Total, and the text "Turn documents into useful data."
Illustrative example.

Rechnungen, Belege und Formulare haben alle dasselbe Problem: Die Daten stecken in einem Bild, und Sie brauchen sie in einer Datenbank. Vorlagenbasiertes OCR bricht bei jedem neuen Lieferanten-Layout. Ein Vision-Language-Modell liest die Seite und liefert die Felder direkt. Der Haken: Es kann sich mit voller Überzeugung irren, die Arbeit steckt also in der Pipeline drumherum. Dieser Beitrag behandelt die allgemeine Pipeline für jede Sprache. Für arabische Dokumente siehe arabische Rechnungen mit Vision lesen zur Einrichtung und arabisches OCR vs. Vision-LLMs dazu, wann klassisches OCR das bessere Werkzeug ist.

Wie sieht die Pipeline aus?

  1. Vorbereiten jeder Seite: PDFs als Bilder rendern, Drehung korrigieren, verkleinern.
  2. Extrahieren: eine Anfrage pro Dokument mit einem Prompt Feld für Feld, nur JSON.
  3. Validieren: parsen, Schema prüfen, Rechnung prüfen.
  4. Wiederholen, einmal mit der Fehlermeldung, wenn die Validierung scheitert.
  5. Prüfen: Was dann noch scheitert, geht mit Bild und Entwurf an einen Menschen.
  6. Messen Sie die Feldgenauigkeit an einer gelabelten Stichprobe und wiederholen Sie die Messung bei jedem Wechsel von Modell oder Prompt.

Wie bereiten Sie Dokumentbilder vor?

Rendern Sie PDFs mit PyMuPDF als Bilder und halten Sie den kleinsten Text scharf, ohne mehr Pixel als nötig zu senden:

# pip install pymupdf pillow
import base64, io
import pymupdf  # older code imports it as fitz
from PIL import Image

def pdf_pages_as_data_urls(path, long_edge=1800):
    urls = []
    for page in pymupdf.open(path):
        pix = page.get_pixmap(dpi=200)
        img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
        img.thumbnail((long_edge, long_edge))
        buf = io.BytesIO()
        img.save(buf, format="JPEG", quality=90)
        urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
    return urls

Bei BroadNet Inference kommen Bilder als data:-URLs mit korrektem MIME-Typ in die Nachricht und werden bei Pay-as-you-go als Input-Tokens abgerechnet; größere Bilder verbrauchen mehr. Messen Sie die Tokens pro Seite einmal über den usage-Block und bemessen Sie Ihre Batches danach; wie das geht, zeigt Tokens vor dem Senden zählen, und Vision-LLM-Kosten pro Bild rechnet Tokens in Kosten pro Seite um. Um die Tokens pro Seite vor dem ersten Senden abzuschätzen, ziehen Sie einen Beispielscan in den Bild-Token-Rechner.

Wie sollten Sie den Extraktions-Prompt schreiben?

Seien Sie genau bei Schlüsseln, Typen, Formaten und fehlenden Werten. Wenn Sie außerdem ein JSON Schema zur Validierung oder für Anbieter brauchen, die eines erzwingen, erstellt der kostenlose JSON-Schema-Generator es aus einer Beispielrechnung:

PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""

„Never guess“ (Übersetzung: nie raten) plus ein ausdrückliches null ist das Wichtigste. Ohne das füllen Modelle Lücken mit plausiblen Werten, und das ist schlimmer als ein leeres Feld, weil es eine naive Prüfung besteht.

Wie bekommen Sie strukturierte Ausgabe und validieren sie?

Es gibt zwei Stufen von Structured Output. JSON Mode garantiert gültiges JSON. Schemagebundene Ausgabe garantiert zusätzlich die Struktur. Der Leitfaden von OpenAI sagt es deutlich: Beide erzeugen gültiges JSON, aber nur Structured Outputs stellen die Einhaltung des Schemas sicher. Die Unterstützung für beides variiert je nach Anbieter und Modell; validieren Sie also im Code, egal was die API verspricht:

import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

class Line(BaseModel):
    description: str
    quantity: Decimal
    unit_price: Decimal
    line_total: Decimal

class Invoice(BaseModel):
    vendor_name: str
    vendor_tax_id: str | None = None
    invoice_number: str
    invoice_date: str
    currency: str
    line_items: list[Line]
    subtotal: Decimal
    tax: Decimal | None = None
    total: Decimal

    @model_validator(mode="after")
    def sums(self):
        tol = Decimal("0.02")
        if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
            raise ValueError("line_totals do not sum to subtotal")
        if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
            raise ValueError("subtotal + tax != total")
        return self

def extract(image_urls, model="broadnet/qwen3.8-27b"):
    content = [{"type": "text", "text": PROMPT}] + [
        {"type": "image_url", "image_url": {"url": u}} for u in image_urls]
    messages = [{"role": "user", "content": content}]
    for attempt in range(2):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
        raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
        try:
            return Invoice.model_validate(json.loads(raw)), r.usage
        except (json.JSONDecodeError, ValidationError, ValueError) as e:
            messages += [{"role": "assistant", "content": raw},
                         {"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
    return None, r.usage  # send to human review

Verwenden Sie für Geldbeträge Decimal, nicht float. Halten Sie max_tokens großzügig: Qwen3.8 27B denkt vor der Antwort nach, und das Reasoning zählt zum Limit; bei einer kleinen Obergrenze kommt ein leerer String zurück. Siehe warum Reasoning-Modelle leere Antworten liefern.

Welche Prüfungen fangen die meisten Fehler ab?

Prüfung Fängt ab Kosten
JSON lässt sich parsen Fließtext um das JSON, Abschneiden Kostenlos
Schema validiert Fehlende Schlüssel, falsche Typen Kostenlos
Positionen ergeben die Zwischensumme Verlesene Ziffern, übersprungene Positionen Kostenlos
Zwischensumme + Steuer = Gesamtsumme Verlesene Gesamtsumme oder Steuer Kostenlos
Datum lässt sich parsen und liegt nicht in der Zukunft Vertauschte Tage/Monate, OCR-Rauschen Kostenlos
Steuer-ID des Lieferanten passt zu Ihrer Lieferantenliste Falscher Lieferant, Betrug Ein Lookup
Doppelte Rechnungsnummer pro Lieferant Doppelte Zahlung Eine Abfrage

Rechenprüfungen bringen am meisten: Eine einzige verlesene Ziffer bricht fast immer eine Summe. Belegen fehlen oft Details auf Positionsebene; prüfen Sie also, was vorhanden ist, und akzeptieren Sie bei ihnen weniger Prüfungen.

Wie messen Sie die Genauigkeit vor dem Go-live?

Labeln Sie 50 bis 100 echte Dokumente von Hand, lassen Sie die Pipeline laufen und bewerten Sie pro Feld, nicht pro Dokument. Summen und Daten verdienen eine strengere Messlatte als Beschreibungen. Erfassen Sie drei Zahlen: die Feldgenauigkeit, den Anteil der Dokumente, die ohne Retry die Validierung bestehen, und den Anteil, der zur Prüfung geht. Wie Sie diesen Prüfschritt gestalten, einschließlich Stichproben bei bestandenen Dokumenten, steht unter manuelle Prüfung als Teil Ihres Document-AI-Workflows. Wenn Sie ein anderes Modell testen, nutzen Sie dasselbe Set; ein LLM vor dem Wechsel evaluieren beschreibt die Methode.

Welche Vision-Modelle passen bei BroadNet Inference?

Modell Bilder Kontext Hinweise
Qwen3.8 27B Ja 262.144 Tools, Structured Output und Reasoning gelistet; von BroadNet auf Arabisch getestet
Gemma 4 VL 26B Ja 32.768 Niedrigster Preis bei BroadNet; läuft mit dem Gratisguthaben und dem Stundenschlüssel
DeepSeek V4.1 Flash Ja 1.048.576 Bilder in den unbegrenzten Plänen enthalten

Die Preise pro 1 Mio. Tokens stehen auf der Preisseite; multiplizieren Sie Ihre gemessenen Tokens pro Seite im LLM-API-Kostenrechner mit dem Monatsvolumen.

Wo BroadNet Inference passt

BroadNet Inference nimmt bei drei Chat-Modellen Bilder über das Standard-Nachrichtenformat von OpenAI an und bewahrt Prompts, Bilder und Antworten nach der Anfrage nicht auf. Das zählt bei Rechnungen voller Namen, Steuer-IDs und Bankdaten (Zero Data Retention). Die Doku listet Structured Output für Qwen3.8 27B, dokumentiert aber keine Schema-Parameter; verlassen Sie sich also auf die Validierungsschicht oben statt darauf, dass die API Ihr Schema erzwingt. BroadNet veröffentlicht weder ein Größenlimit für Bilder noch ein eigenes Document-AI-Produkt, und die Doku beschreibt Bild-Input, keinen PDF-Upload; rendern Sie Seiten also zuerst als Bilder. Für große Durchläufe mit festem Budget enthält ein unbegrenzter DeepSeek-V4.1-Flash-Plan Bilder.

Häufige Fragen

Kann ein Vision-LLM OCR für Rechnungen ersetzen?

Bei vielen Layouts ja. Ein Vision-Modell liest das Bild und ordnet den Text in einem Schritt Feldern zu, ohne Vorlagen pro Lieferant. Es verliest sich aber manchmal bei Ziffern; behalten Sie also Validierung und eine Prüf-Queue.

Wie bekomme ich zuverlässiges JSON von einem Vision-Modell?

Nennen Sie im Prompt die genauen Schlüssel, Typen und Formate, verlangen Sie nur JSON und parsen Sie es im Code. Unterstützt das Modell schemagebundene Ausgabe, nutzen Sie sie. In jedem Fall validieren Sie mit einer Schema-Bibliothek und wiederholen einmal mit dem Fehler.

Wie extrahiere ich Daten aus einer mehrseitigen PDF-Rechnung?

Rendern Sie jede Seite als Bild und senden Sie alle Seiten einer Rechnung in einer einzigen Anfrage, wenn sie in den Kontext des Modells passen. So lassen sich Summen auf der letzten Seite mit Positionen auf der ersten abgleichen.

Welche Auflösung sollten Rechnungsbilder haben?

Hoch genug, dass die kleinsten Ziffern scharf sind, und nicht höher. Größere Bilder verbrauchen mehr Input-Tokens. Eine lange Kante von etwa 1.500 bis 2.000 Pixeln ist ein sinnvoller Startpunkt für eine A4-Seite; testen Sie mit Ihren eigenen Dokumenten.

Wie messe ich die Genauigkeit der Extraktion?

Labeln Sie 50 bis 100 echte Dokumente von Hand und bewerten Sie Feld für Feld. Erfassen Sie Summen und Daten getrennt von Freitextfeldern wie Lieferantennamen, denn ihre Fehler kosten unterschiedlich viel.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen