BroadRouter

Data ng invoice, resibo at form sa JSON gamit ang vision LLM

Ng BroadNet Inference team · 4 minutong basa · Nailathala

I-render ang bawat page bilang larawan, ipadala ito sa vision model gamit ang prompt na nagpapangalan sa bawat field at format nito, at JSON lang ang hingin. Saka i-validate sa code: i-parse, tingnan ang schema, tiyaking tugma ang kabuuan ng mga line item sa total, at mag-retry nang isang beses kasama ang error. Ipasa sa tao ang paulit-ulit na pumapalya.

A paper invoice headed "فاتورة" (invoice) with tabs labelled Vendor, Date and Total, and the text "Turn documents into useful data."
Illustrative example.

Iisa ang problema ng mga invoice, resibo at form: nasa larawan ang data, at kailangan mo ito sa database. Nasisira ang template-based na OCR sa bawat bagong layout ng vendor. Binabasa ng vision-language model ang page at direktang ibinabalik ang mga field. Ang problema, puwede itong magkamali nang buong kumpiyansa, kaya nasa pipeline sa paligid nito ang trabaho. Sinasaklaw ng post na ito ang pangkalahatang pipeline para sa anumang wika. Para sa mga Arabic na dokumento, tingnan ang pagbasa ng Arabic na invoice gamit ang vision para sa setup at ang Arabic OCR vs vision LLM para sa kung kailan mas mainam ang klasikong OCR.

Ano ang itsura ng pipeline?

  1. Ihanda ang bawat page: i-render ang mga PDF bilang larawan, ayusin ang rotation, i-resize.
  2. Kunin: isang request kada dokumento na may field-by-field na prompt, JSON lang.
  3. I-validate: i-parse, i-schema-check, i-arithmetic-check.
  4. Mag-retry nang isang beses kasama ang error message kapag bumagsak ang validation.
  5. I-review: anumang pumapalya pa rin ay mapupunta sa tao, kasama ang larawan at ang draft.
  6. Sukatin ang field accuracy sa may-label na sample, at patakbuhin ulit tuwing papalitan mo ang model o prompt.

Paano ihanda ang mga larawan ng dokumento?

I-render ang mga PDF bilang larawan gamit ang PyMuPDF at panatilihing malinaw ang pinakamaliit na text nang hindi nagpapadala ng mas maraming pixel kaysa kailangan:

# pip install pymupdf pillow
import base64, io
import pymupdf  # older code imports it as fitz
from PIL import Image

def pdf_pages_as_data_urls(path, long_edge=1800):
    urls = []
    for page in pymupdf.open(path):
        pix = page.get_pixmap(dpi=200)
        img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
        img.thumbnail((long_edge, long_edge))
        buf = io.BytesIO()
        img.save(buf, format="JPEG", quality=90)
        urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
    return urls

Sa BroadNet Inference, pumapasok ang mga larawan sa message bilang data: URL na may tamang MIME type, at sa pay-as-you-go sinisingil ang mga ito bilang input token; mas marami ang gamit ng mas malalaking larawan. Sukatin minsan ang token kada page gamit ang usage block at doon ibatay ang laki ng mga batch mo; ipinapakita ng pagbilang ng token bago magpadala kung paano, at ginagawang gastos kada page ng gastos ng vision LLM kada larawan ang mga token. Para matantiya ang token kada page bago ka magpadala ng kahit ano, ilagay ang isang sample na scan sa image token calculator.

Paano isulat ang extraction prompt?

Maging eksakto sa mga key, type, format at nawawalang value. Kung gusto mo rin ng JSON Schema para sa validation o para sa mga provider na nagpapatupad nito, bubuuin ito ng libreng JSON schema generator mula sa isang sample na invoice:

PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""

Ang “Never guess” kasama ang tahasang null ang pinakamahalaga. Kapag wala ito, pinupunan ng mga model ang mga puwang ng kapani-paniwalang value, na mas masama kaysa blangko dahil pumapasa ito sa simpleng check.

Paano makakuha ng structured output at i-validate ito?

May dalawang antas ng structured output. Ginagarantiya ng JSON mode ang valid na JSON. Ginagarantiya rin ng schema-constrained na output ang hugis. Malinaw ang sabi ng guide ng OpenAI: parehong gumagawa ng valid na JSON, pero Structured Outputs lang ang tumitiyak ng pagsunod sa schema. Iba-iba ang suporta para sa alinman ayon sa provider at model, kaya i-validate sa code anuman ang ipinapangako ng API:

import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

class Line(BaseModel):
    description: str
    quantity: Decimal
    unit_price: Decimal
    line_total: Decimal

class Invoice(BaseModel):
    vendor_name: str
    vendor_tax_id: str | None = None
    invoice_number: str
    invoice_date: str
    currency: str
    line_items: list[Line]
    subtotal: Decimal
    tax: Decimal | None = None
    total: Decimal

    @model_validator(mode="after")
    def sums(self):
        tol = Decimal("0.02")
        if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
            raise ValueError("line_totals do not sum to subtotal")
        if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
            raise ValueError("subtotal + tax != total")
        return self

def extract(image_urls, model="broadnet/qwen3.8-27b"):
    content = [{"type": "text", "text": PROMPT}] + [
        {"type": "image_url", "image_url": {"url": u}} for u in image_urls]
    messages = [{"role": "user", "content": content}]
    for attempt in range(2):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
        raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
        try:
            return Invoice.model_validate(json.loads(raw)), r.usage
        except (json.JSONDecodeError, ValidationError, ValueError) as e:
            messages += [{"role": "assistant", "content": raw},
                         {"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
    return None, r.usage  # send to human review

Decimal ang gamitin para sa pera, hindi float. Panatilihing maluwag ang max_tokens: nagre-reason ang Qwen3.8 27B bago sumagot, at kasama ang reasoning sa limit; walang lamang string ang ibinabalik kapag maliit ang cap. Tingnan ang bakit walang laman ang sagot ng mga reasoning model.

Aling mga check ang nakakahuli ng pinakamaraming error?

Check Nahuhuli Gastos
Nagpa-parse ang JSON Prosa sa paligid ng JSON, pagkaputol Libre
Pumapasa sa schema Nawawalang key, maling type Libre
Tugma ang kabuuan ng mga linya sa subtotal Maling basa ng digit, nalaktawang linya Libre
Subtotal + tax = total Maling basa ng total o tax Libre
Nagpa-parse ang petsa at wala sa hinaharap Napagpalit na araw/buwan, ingay ng OCR Libre
Tugma ang tax ID ng vendor sa listahan mo ng supplier Maling vendor, panloloko Isang lookup
Dobleng invoice number kada vendor Dobleng bayad Isang query

Ang arithmetic check ang pinakasulit: halos laging sinisira ng iisang maling basang digit ang isang kabuuan. Madalas walang detalye kada linya ang mga resibo, kaya i-check kung ano ang naroon at tanggaping mas kaunti ang check para sa mga iyon.

Paano sukatin ang accuracy bago mag-live?

Mano-manong mag-label ng 50 hanggang 100 totoong dokumento, patakbuhin ang pipeline, at mag-score kada field, hindi kada dokumento. Mas mahigpit na pamantayan ang nararapat sa mga total at petsa kaysa sa mga description. Bantayan ang tatlong numero: field accuracy, ang bahagi ng mga dokumentong pumapasa sa validation nang walang retry, at ang bahaging napupunta sa review. Kung paano idisenyo ang review step na iyon, kasama ang random na audit ng mga dokumentong pumasa, ay nasa paggawa ng human review na bahagi ng document AI workflow mo. Kapag susubok ka ng ibang model, patakbuhin ang parehong set; sinasaklaw ng pag-evaluate ng LLM bago lumipat ang paraan.

Aling mga vision model ang bagay sa BroadNet Inference?

Model Larawan Context Tala
Qwen3.8 27B Oo 262,144 Nakalista ang tools, structured output at reasoning; tinest sa Arabic ng BroadNet
Gemma 4 VL 26B Oo 32,768 Pinakamababang presyo sa BroadNet; tumatakbo sa libreng credit at sa hourly key
DeepSeek V4.1 Flash Oo 1,048,576 Kasama ang mga larawan sa mga unlimited na plan

Nasa pricing page ang presyo kada 1M token; i-multiply ang nasukat mong token kada page sa buwanang volume sa LLM API cost calculator.

Saan pumapasok ang BroadNet Inference

Tumatanggap ang BroadNet Inference ng mga larawan sa tatlong chat model sa standard na OpenAI message format, at hindi nito itinatago ang mga prompt, larawan o sagot pagkatapos ng request, na mahalaga para sa mga invoice na puno ng pangalan, tax ID at detalye ng bangko (zero data retention). Nakalista sa docs nito ang structured output para sa Qwen3.8 27B pero hindi dinodokumento ang mga schema parameter, kaya umasa sa validation layer sa itaas, hindi sa API, para ipatupad ang schema mo. Hindi naglalathala ang BroadNet ng image size limit o ng hiwalay na document-AI na produkto, at image input ang inilalarawan ng docs nito, hindi PDF upload, kaya i-render muna bilang larawan ang mga page. Para sa malakihang run na may takdang budget, kasama ang mga larawan sa unlimited na DeepSeek V4.1 Flash plan.

Mga tanong

Kaya bang palitan ng vision LLM ang OCR para sa invoice?

Sa maraming layout, oo. Binabasa ng vision model ang larawan at itinutugma ang text sa mga field sa isang hakbang, nang walang template kada vendor. Paminsan-minsan, nagkakamali pa rin ito sa pagbasa ng digit, kaya panatilihin ang validation at review queue.

Paano ako makakakuha ng maaasahang JSON mula sa vision model?

Ilista sa prompt ang eksaktong key, type at format, JSON lang ang hingin, at i-parse ito sa code. Kung suportado ng model ang schema-constrained na output, gamitin ito. Alinman doon, i-validate gamit ang schema library at mag-retry nang isang beses kasama ang error.

Paano kunin ang data mula sa PDF invoice na maraming page?

I-render ang bawat page bilang larawan, saka ipadala ang lahat ng page ng isang invoice sa iisang request kung kasya sa context ng model, para maitugma ang total sa huling page sa mga linya sa unang page.

Anong resolution dapat ang larawan ng invoice?

Sapat na mataas para malinaw ang pinakamaliit na digit, at hindi na hihigit pa. Mas maraming input token ang gamit ng mas malalaking larawan. Magandang panimula para sa A4 na page ang mahabang gilid na mga 1,500 hanggang 2,000 pixel; i-test sa sarili mong mga dokumento.

Paano sukatin ang accuracy ng extraction?

Mano-manong mag-label ng 50 hanggang 100 totoong dokumento at mag-score field kada field. Bantayan nang hiwalay ang mga total at petsa sa mga free-text na field gaya ng pangalan ng vendor, dahil magkaiba ang gastos ng mga error nila.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity