BroadRouter

Ekstrak data faktur, struk, dan formulir ke JSON dengan vision LLM

Oleh tim BroadNet Inference · 4 menit baca · Dipublikasikan

Render setiap halaman menjadi gambar, kirim ke model vision dengan prompt yang menyebut setiap field beserta formatnya, dan minta JSON saja. Lalu validasi di kode: parse, periksa skemanya, pastikan jumlah item baris sama dengan totalnya, dan ulangi sekali dengan pesan error-nya. Arahkan kegagalan berulang ke manusia.

A paper invoice headed "فاتورة" (invoice) with tabs labelled Vendor, Date and Total, and the text "Turn documents into useful data."
Illustrative example.

Faktur, struk, dan formulir punya masalah yang sama: datanya ada di dalam gambar, sementara Anda membutuhkannya di database. OCR berbasis template rusak setiap kali ada tata letak vendor baru. Vision-language model membaca halaman dan langsung mengembalikan field-nya. Masalahnya, model ini bisa salah dengan penuh percaya diri, jadi pekerjaan sebenarnya ada di pipeline di sekelilingnya. Artikel ini membahas pipeline umum untuk bahasa apa pun. Untuk dokumen berbahasa Arab, lihat membaca faktur berbahasa Arab dengan vision untuk penyiapannya dan OCR Arab vs vision LLM untuk kapan OCR klasik lebih tepat.

Seperti apa pipeline-nya?

  1. Siapkan setiap halaman: render PDF menjadi gambar, perbaiki rotasi, ubah ukuran.
  2. Ekstrak: satu permintaan per dokumen dengan prompt per field, JSON saja.
  3. Validasi: parse, cek skema, cek aritmetika.
  4. Ulangi sekali dengan pesan error jika validasi gagal.
  5. Review: apa pun yang masih gagal dikirim ke manusia, beserta gambar dan drafnya.
  6. Ukur akurasi per field pada sampel berlabel, dan jalankan ulang setiap kali Anda mengganti model atau prompt.

Bagaimana menyiapkan gambar dokumen?

Render PDF menjadi gambar dengan PyMuPDF dan jaga teks terkecil tetap tajam tanpa mengirim piksel lebih banyak dari yang diperlukan:

# pip install pymupdf pillow
import base64, io
import pymupdf  # older code imports it as fitz
from PIL import Image

def pdf_pages_as_data_urls(path, long_edge=1800):
    urls = []
    for page in pymupdf.open(path):
        pix = page.get_pixmap(dpi=200)
        img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
        img.thumbnail((long_edge, long_edge))
        buf = io.BytesIO()
        img.save(buf, format="JPEG", quality=90)
        urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
    return urls

Di BroadNet Inference, gambar dimasukkan ke pesan sebagai URL data: dengan tipe MIME yang akurat, dan pada skema bayar sesuai pemakaian ditagih sebagai token input; gambar yang lebih besar memakai lebih banyak. Ukur token per halaman sekali lewat blok usage dan tentukan ukuran batch dari situ; menghitung token sebelum mengirim menunjukkan caranya, dan biaya vision LLM per gambar mengubah token menjadi biaya per halaman. Untuk memperkirakan token per halaman sebelum mengirim apa pun, masukkan contoh hasil scan ke kalkulator token gambar.

Bagaimana menulis prompt ekstraksinya?

Tuliskan key, tipe, format, dan nilai kosong secara persis. Jika Anda juga butuh JSON Schema untuk validasi atau untuk penyedia yang memberlakukannya, JSON schema generator gratis bisa membuatnya dari contoh faktur:

PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""

“Never guess” (jangan pernah menebak) ditambah null yang eksplisit adalah bagian terpenting. Tanpa itu, model mengisi celah dengan nilai yang tampak masuk akal, yang lebih buruk daripada kosong karena lolos dari pengecekan sederhana.

Bagaimana mendapatkan output terstruktur dan memvalidasinya?

Ada dua tingkat output terstruktur. JSON mode menjamin JSON yang valid. Output yang dibatasi skema juga menjamin bentuknya. Panduan OpenAI menyatakannya dengan gamblang: keduanya menghasilkan JSON yang valid, tetapi hanya Structured Outputs yang memastikan kepatuhan pada skema. Dukungan untuk keduanya berbeda-beda menurut penyedia dan model, jadi validasi di kode apa pun janji API-nya:

import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

class Line(BaseModel):
    description: str
    quantity: Decimal
    unit_price: Decimal
    line_total: Decimal

class Invoice(BaseModel):
    vendor_name: str
    vendor_tax_id: str | None = None
    invoice_number: str
    invoice_date: str
    currency: str
    line_items: list[Line]
    subtotal: Decimal
    tax: Decimal | None = None
    total: Decimal

    @model_validator(mode="after")
    def sums(self):
        tol = Decimal("0.02")
        if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
            raise ValueError("line_totals do not sum to subtotal")
        if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
            raise ValueError("subtotal + tax != total")
        return self

def extract(image_urls, model="broadnet/qwen3.8-27b"):
    content = [{"type": "text", "text": PROMPT}] + [
        {"type": "image_url", "image_url": {"url": u}} for u in image_urls]
    messages = [{"role": "user", "content": content}]
    for attempt in range(2):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
        raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
        try:
            return Invoice.model_validate(json.loads(raw)), r.usage
        except (json.JSONDecodeError, ValidationError, ValueError) as e:
            messages += [{"role": "assistant", "content": raw},
                         {"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
    return None, r.usage  # send to human review

Gunakan Decimal, bukan float, untuk nilai uang. Buat max_tokens longgar: Qwen3.8 27B bernalar sebelum menjawab, dan penalaran dihitung dalam batas itu; batas kecil mengembalikan string kosong. Lihat kenapa model penalaran mengembalikan balasan kosong.

Cek mana yang menangkap error paling banyak?

Cek Yang tertangkap Biaya
JSON bisa di-parse Teks di sekitar JSON, terpotong Gratis
Skema tervalidasi Key hilang, tipe salah Gratis
Jumlah baris sama dengan subtotal Angka salah baca, baris terlewat Gratis
Subtotal + pajak = total Total atau pajak salah baca Gratis
Tanggal bisa di-parse dan tidak di masa depan Hari/bulan tertukar, noise OCR Gratis
Nomor pajak vendor cocok dengan daftar pemasok Anda Vendor salah, penipuan Satu lookup
Nomor faktur duplikat per vendor Pembayaran ganda Satu query

Cek aritmetika memberi nilai paling besar: satu angka yang salah baca hampir selalu merusak penjumlahan. Struk sering tidak punya rincian per baris, jadi periksa yang ada dan terima jumlah cek yang lebih sedikit untuk struk.

Bagaimana mengukur akurasi sebelum go-live?

Beri label 50 hingga 100 dokumen nyata secara manual, jalankan pipeline-nya, dan beri skor per field, bukan per dokumen. Total dan tanggal layak mendapat standar lebih ketat daripada deskripsi. Lacak tiga angka: akurasi field, porsi dokumen yang lolos validasi tanpa retry, dan porsi yang dikirim ke review. Cara merancang langkah review itu, termasuk audit acak terhadap dokumen yang lolos, ada di menjadikan review manusia bagian dari alur kerja AI dokumen Anda. Saat mencoba model lain, jalankan set yang sama; mengevaluasi LLM sebelum beralih membahas metodenya.

Model vision mana yang cocok di BroadNet Inference?

Model Gambar Context Catatan
Qwen3.8 27B Ya 262.144 Tools, output terstruktur, dan penalaran tercantum; diuji BroadNet dalam bahasa Arab
Gemma 4 VL 26B Ya 32.768 Harga BroadNet terendah; bisa dipakai dengan kredit gratis dan kunci per jam
DeepSeek V4.1 Flash Ya 1.048.576 Gambar termasuk dalam paket unlimited

Harga per 1 juta token ada di halaman harga; kalikan token per halaman yang Anda ukur dengan volume bulanan di kalkulator biaya API LLM.

Di mana posisi BroadNet Inference?

BroadNet Inference menerima gambar pada tiga model chat lewat format pesan standar OpenAI, dan tidak menyimpan prompt, gambar, maupun jawaban setelah permintaan selesai, hal yang penting untuk faktur yang penuh nama, nomor pajak, dan detail rekening bank (zero data retention). Dokumentasinya mencantumkan output terstruktur untuk Qwen3.8 27B tetapi tidak mendokumentasikan parameter skema, jadi andalkan lapisan validasi di atas, bukan API, untuk memberlakukan skema Anda. BroadNet tidak menerbitkan batas ukuran gambar atau produk AI dokumen khusus, dan dokumentasinya menjelaskan input gambar, bukan unggahan PDF, jadi render halaman menjadi gambar terlebih dulu. Untuk pemrosesan bervolume tinggi dengan anggaran tetap, paket unlimited DeepSeek V4.1 Flash sudah termasuk gambar.

Pertanyaan umum

Bisakah vision LLM menggantikan OCR untuk faktur?

Untuk banyak tata letak, bisa. Model vision membaca gambar dan memetakan teks ke field dalam satu langkah, tanpa template per vendor. Namun sesekali ia masih salah membaca angka, jadi pertahankan validasi dan antrean review.

Bagaimana mendapatkan JSON yang andal dari model vision?

Cantumkan key, tipe, dan format yang persis di prompt, minta JSON saja, lalu parse di kode. Jika model mendukung output yang dibatasi skema, gunakan. Apa pun pilihannya, validasi dengan library skema dan ulangi sekali dengan pesan error-nya.

Bagaimana mengekstrak data dari faktur PDF beberapa halaman?

Render setiap halaman menjadi gambar, lalu kirim semua halaman satu faktur dalam satu permintaan jika muat di context model, agar total di halaman terakhir bisa dicocokkan dengan baris di halaman pertama.

Berapa resolusi gambar faktur yang sebaiknya?

Cukup tinggi agar angka terkecil tetap tajam, dan tidak lebih. Gambar yang lebih besar memakai lebih banyak token input. Sisi panjang sekitar 1.500 hingga 2.000 piksel adalah titik awal yang masuk akal untuk halaman A4; uji dengan dokumen Anda sendiri.

Bagaimana mengukur akurasi ekstraksi?

Beri label 50 hingga 100 dokumen nyata secara manual dan beri skor per field. Lacak total dan tanggal terpisah dari field teks bebas seperti nama vendor, karena biaya kesalahannya berbeda.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity