BroadRouter

Ekstrak data invois, resit dan borang ke JSON dengan LLM visi

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan

Jadikan setiap halaman sebagai imej, hantar ke model visi dengan prompt yang menamakan setiap medan dan formatnya, dan minta JSON sahaja. Kemudian sahkan dalam kod: huraikan, semak skemanya, pastikan jumlah item baris sama dengan jumlah keseluruhan, dan cuba semula sekali dengan ralatnya. Hantar kegagalan berulang kepada manusia.

A paper invoice headed "فاتورة" (invoice) with tabs labelled Vendor, Date and Total, and the text "Turn documents into useful data."
Illustrative example.

Invois, resit dan borang semuanya mempunyai masalah yang sama: data berada dalam gambar, dan anda memerlukannya dalam pangkalan data. OCR berasaskan templat rosak pada setiap susun atur vendor baharu. Model bahasa-visi membaca halaman dan memulangkan medan secara terus. Masalahnya, ia boleh salah dengan penuh yakin, jadi kerja sebenar ada pada saluran paip di sekelilingnya. Catatan ini merangkumi saluran paip umum untuk sebarang bahasa. Untuk dokumen bahasa Arab, lihat membaca invois bahasa Arab dengan visi untuk persediaan dan OCR bahasa Arab berbanding LLM visi untuk bila OCR klasik ialah alat yang lebih baik.

Bagaimanakah rupa saluran paipnya?

  1. Sediakan setiap halaman: jadikan PDF sebagai imej, betulkan putaran, ubah saiz.
  2. Ekstrak: satu permintaan setiap dokumen dengan prompt medan demi medan, JSON sahaja.
  3. Sahkan: huraikan, semak skema, semak aritmetik.
  4. Cuba semula sekali dengan mesej ralat jika pengesahan gagal.
  5. Semak: apa-apa yang masih gagal pergi kepada manusia, bersama imej dan draf.
  6. Ukur ketepatan medan pada sampel berlabel, dan jalankan semula setiap kali anda menukar model atau prompt.

Bagaimanakah menyediakan imej dokumen?

Jadikan PDF sebagai imej dengan PyMuPDF dan pastikan teks terkecil jelas tanpa menghantar lebih banyak piksel daripada yang perlu:

# pip install pymupdf pillow
import base64, io
import pymupdf  # older code imports it as fitz
from PIL import Image

def pdf_pages_as_data_urls(path, long_edge=1800):
    urls = []
    for page in pymupdf.open(path):
        pix = page.get_pixmap(dpi=200)
        img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
        img.thumbnail((long_edge, long_edge))
        buf = io.BytesIO()
        img.save(buf, format="JPEG", quality=90)
        urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
    return urls

Pada BroadNet Inference, imej dimasukkan dalam mesej sebagai URL data: dengan jenis MIME yang tepat, dan pada bayar ikut guna ia dibil sebagai token input; imej lebih besar menggunakan lebih banyak. Ukur token setiap halaman sekali dengan blok usage dan tetapkan saiz kelompok anda daripada itu; mengira token sebelum menghantar menunjukkan caranya, dan kos LLM visi setiap imej menukar token kepada kos setiap halaman. Untuk menganggar token setiap halaman sebelum menghantar apa-apa, masukkan imbasan sampel ke dalam kalkulator token imej.

Bagaimanakah menulis prompt pengekstrakan?

Tepatkan kunci, jenis, format dan nilai yang tiada. Jika anda juga mahukan JSON Schema untuk pengesahan atau untuk penyedia yang menguatkuasakannya, penjana skema JSON percuma membinanya daripada invois sampel:

PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""

“Never guess” ditambah null yang jelas paling penting. Tanpanya, model mengisi ruang kosong dengan nilai yang munasabah, yang lebih teruk daripada ruang kosong kerana ia lulus semakan yang naif.

Bagaimanakah mendapatkan output berstruktur dan mengesahkannya?

Terdapat dua tahap output berstruktur. Mod JSON menjamin JSON yang sah. Output yang dikekang skema turut menjamin bentuknya. Panduan OpenAI menyatakannya dengan jelas: kedua-duanya menghasilkan JSON yang sah, tetapi hanya Structured Outputs yang memastikan pematuhan skema. Sokongan untuk kedua-duanya berbeza mengikut penyedia dan model, jadi sahkan dalam kod tidak kira apa yang dijanjikan API:

import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

class Line(BaseModel):
    description: str
    quantity: Decimal
    unit_price: Decimal
    line_total: Decimal

class Invoice(BaseModel):
    vendor_name: str
    vendor_tax_id: str | None = None
    invoice_number: str
    invoice_date: str
    currency: str
    line_items: list[Line]
    subtotal: Decimal
    tax: Decimal | None = None
    total: Decimal

    @model_validator(mode="after")
    def sums(self):
        tol = Decimal("0.02")
        if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
            raise ValueError("line_totals do not sum to subtotal")
        if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
            raise ValueError("subtotal + tax != total")
        return self

def extract(image_urls, model="broadnet/qwen3.8-27b"):
    content = [{"type": "text", "text": PROMPT}] + [
        {"type": "image_url", "image_url": {"url": u}} for u in image_urls]
    messages = [{"role": "user", "content": content}]
    for attempt in range(2):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
        raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
        try:
            return Invoice.model_validate(json.loads(raw)), r.usage
        except (json.JSONDecodeError, ValidationError, ValueError) as e:
            messages += [{"role": "assistant", "content": raw},
                         {"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
    return None, r.usage  # send to human review

Gunakan Decimal, bukan float, untuk wang. Pastikan max_tokens longgar: Qwen3.8 27B menaakul sebelum menjawab, dan penaakulan dikira dalam had; had yang kecil memulangkan rentetan kosong. Lihat mengapa model penaakulan memulangkan balasan kosong.

Semakan manakah yang menangkap paling banyak ralat?

Semakan Menangkap Kos
JSON boleh dihuraikan Prosa di sekeliling JSON, pemotongan Percuma
Skema disahkan Kunci tiada, jenis salah Percuma
Baris menjumlah kepada subjumlah Digit salah baca, baris tertinggal Percuma
Subjumlah + cukai = jumlah Jumlah atau cukai salah baca Percuma
Tarikh boleh dihuraikan dan bukan pada masa depan Hari/bulan tertukar, hingar OCR Percuma
ID cukai vendor sepadan dengan senarai pembekal anda Vendor salah, penipuan Satu carian
Nombor invois berganda bagi setiap vendor Bayaran berganda Satu pertanyaan

Semakan aritmetik paling berbaloi: satu digit yang salah baca hampir selalu merosakkan jumlah. Resit sering tiada butiran peringkat baris, jadi semak apa yang ada dan terima bilangan semakan yang lebih sedikit untuknya.

Bagaimanakah mengukur ketepatan sebelum dilancarkan?

Labelkan 50 hingga 100 dokumen sebenar secara manual, jalankan saluran paip, dan beri skor setiap medan, bukan setiap dokumen. Jumlah dan tarikh wajar diberi piawaian lebih ketat daripada keterangan. Jejaki tiga angka: ketepatan medan, bahagian dokumen yang lulus pengesahan tanpa cubaan semula, dan bahagian yang dihantar untuk semakan. Cara mereka bentuk langkah semakan itu, termasuk audit rawak dokumen yang lulus, ada dalam menjadikan semakan manusia sebahagian daripada aliran kerja AI dokumen anda. Apabila anda mencuba model lain, jalankan set yang sama; menilai LLM sebelum bertukar merangkumi kaedahnya.

Model visi manakah yang sesuai di BroadNet Inference?

Model Imej Konteks Nota
Qwen3.8 27B Ya 262,144 Tools, output berstruktur dan penaakulan disenaraikan; diuji dalam bahasa Arab oleh BroadNet
Gemma 4 VL 26B Ya 32,768 Harga BroadNet terendah; berjalan pada kredit percuma dan kunci sejam
DeepSeek V4.1 Flash Ya 1,048,576 Imej termasuk dalam pelan tanpa had

Harga setiap 1M token ada di halaman harga; darabkan token setiap halaman yang anda ukur dengan jumlah bulanan dalam kalkulator kos API LLM.

Di mana BroadNet Inference sesuai

BroadNet Inference menerima imej pada tiga model chat melalui format mesej standard OpenAI, dan ia tidak menyimpan prompt, imej atau jawapan selepas permintaan, yang penting untuk invois yang penuh dengan nama, ID cukai dan butiran bank (pengekalan data sifar). Dokumentasinya menyenaraikan output berstruktur untuk Qwen3.8 27B tetapi tidak mendokumenkan parameter skema, jadi bergantunglah pada lapisan pengesahan di atas dan bukannya pada API untuk menguatkuasakan skema anda. BroadNet tidak menerbitkan had saiz imej atau produk AI dokumen khusus, dan dokumentasinya menerangkan input imej, bukan muat naik PDF, jadi jadikan halaman sebagai imej dahulu. Untuk larian volum tinggi dengan bajet tetap, pelan DeepSeek V4.1 Flash tanpa had termasuk imej.

Soalan lazim

Bolehkah LLM visi menggantikan OCR untuk invois?

Untuk banyak susun atur, ya. Model visi membaca imej dan memetakan teks kepada medan dalam satu langkah, tanpa templat bagi setiap vendor. Ia masih kadangkala salah membaca digit, jadi kekalkan pengesahan dan baris gilir semakan.

Bagaimanakah saya mendapatkan JSON yang boleh dipercayai daripada model visi?

Senaraikan kunci, jenis dan format yang tepat dalam prompt, minta JSON sahaja, dan huraikan dalam kod. Jika model menyokong output yang dikekang skema, gunakannya. Walau apa pun, sahkan dengan pustaka skema dan cuba semula sekali dengan ralatnya.

Bagaimanakah saya mengekstrak data daripada invois PDF berbilang halaman?

Jadikan setiap halaman sebagai imej, kemudian hantar semua halaman satu invois dalam satu permintaan jika muat dalam konteks model, supaya jumlah pada halaman terakhir dapat dipadankan dengan baris pada halaman pertama.

Apakah resolusi yang sesuai untuk imej invois?

Cukup tinggi supaya digit terkecil jelas, dan tidak lebih. Imej lebih besar menggunakan lebih banyak token input. Sisi panjang kira-kira 1,500 hingga 2,000 piksel ialah titik permulaan yang munasabah untuk halaman A4; uji pada dokumen anda sendiri.

Bagaimanakah saya mengukur ketepatan pengekstrakan?

Labelkan 50 hingga 100 dokumen sebenar secara manual dan beri skor medan demi medan. Jejaki jumlah dan tarikh secara berasingan daripada medan teks bebas seperti nama vendor, kerana kos ralatnya berbeza.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity