Iisa ang problema ng mga invoice, resibo at form: nasa larawan ang data, at kailangan mo ito sa database. Nasisira ang template-based na OCR sa bawat bagong layout ng vendor. Binabasa ng vision-language model ang page at direktang ibinabalik ang mga field. Ang problema, puwede itong magkamali nang buong kumpiyansa, kaya nasa pipeline sa paligid nito ang trabaho. Sinasaklaw ng post na ito ang pangkalahatang pipeline para sa anumang wika. Para sa mga Arabic na dokumento, tingnan ang pagbasa ng Arabic na invoice gamit ang vision para sa setup at ang Arabic OCR vs vision LLM para sa kung kailan mas mainam ang klasikong OCR.
Ano ang itsura ng pipeline?
- Ihanda ang bawat page: i-render ang mga PDF bilang larawan, ayusin ang rotation, i-resize.
- Kunin: isang request kada dokumento na may field-by-field na prompt, JSON lang.
- I-validate: i-parse, i-schema-check, i-arithmetic-check.
- Mag-retry nang isang beses kasama ang error message kapag bumagsak ang validation.
- I-review: anumang pumapalya pa rin ay mapupunta sa tao, kasama ang larawan at ang draft.
- Sukatin ang field accuracy sa may-label na sample, at patakbuhin ulit tuwing papalitan mo ang model o prompt.
Paano ihanda ang mga larawan ng dokumento?
I-render ang mga PDF bilang larawan gamit ang PyMuPDF at panatilihing malinaw ang pinakamaliit na text nang hindi nagpapadala ng mas maraming pixel kaysa kailangan:
# pip install pymupdf pillow
import base64, io
import pymupdf # older code imports it as fitz
from PIL import Image
def pdf_pages_as_data_urls(path, long_edge=1800):
urls = []
for page in pymupdf.open(path):
pix = page.get_pixmap(dpi=200)
img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
img.thumbnail((long_edge, long_edge))
buf = io.BytesIO()
img.save(buf, format="JPEG", quality=90)
urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
return urls
Sa BroadNet Inference, pumapasok ang mga larawan sa message bilang data: URL na may tamang MIME type, at sa pay-as-you-go sinisingil ang mga ito bilang input token; mas marami ang gamit ng mas malalaking larawan. Sukatin minsan ang token kada page gamit ang usage block at doon ibatay ang laki ng mga batch mo; ipinapakita ng pagbilang ng token bago magpadala kung paano, at ginagawang gastos kada page ng gastos ng vision LLM kada larawan ang mga token. Para matantiya ang token kada page bago ka magpadala ng kahit ano, ilagay ang isang sample na scan sa image token calculator.
Paano isulat ang extraction prompt?
Maging eksakto sa mga key, type, format at nawawalang value. Kung gusto mo rin ng JSON Schema para sa validation o para sa mga provider na nagpapatupad nito, bubuuin ito ng libreng JSON schema generator mula sa isang sample na invoice:
PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""
Ang “Never guess” kasama ang tahasang null ang pinakamahalaga. Kapag wala ito, pinupunan ng mga model ang mga puwang ng kapani-paniwalang value, na mas masama kaysa blangko dahil pumapasa ito sa simpleng check.
Paano makakuha ng structured output at i-validate ito?
May dalawang antas ng structured output. Ginagarantiya ng JSON mode ang valid na JSON. Ginagarantiya rin ng schema-constrained na output ang hugis. Malinaw ang sabi ng guide ng OpenAI: parehong gumagawa ng valid na JSON, pero Structured Outputs lang ang tumitiyak ng pagsunod sa schema. Iba-iba ang suporta para sa alinman ayon sa provider at model, kaya i-validate sa code anuman ang ipinapangako ng API:
import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
class Line(BaseModel):
description: str
quantity: Decimal
unit_price: Decimal
line_total: Decimal
class Invoice(BaseModel):
vendor_name: str
vendor_tax_id: str | None = None
invoice_number: str
invoice_date: str
currency: str
line_items: list[Line]
subtotal: Decimal
tax: Decimal | None = None
total: Decimal
@model_validator(mode="after")
def sums(self):
tol = Decimal("0.02")
if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
raise ValueError("line_totals do not sum to subtotal")
if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
raise ValueError("subtotal + tax != total")
return self
def extract(image_urls, model="broadnet/qwen3.8-27b"):
content = [{"type": "text", "text": PROMPT}] + [
{"type": "image_url", "image_url": {"url": u}} for u in image_urls]
messages = [{"role": "user", "content": content}]
for attempt in range(2):
r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
try:
return Invoice.model_validate(json.loads(raw)), r.usage
except (json.JSONDecodeError, ValidationError, ValueError) as e:
messages += [{"role": "assistant", "content": raw},
{"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
return None, r.usage # send to human review
Decimal ang gamitin para sa pera, hindi float. Panatilihing maluwag ang max_tokens: nagre-reason ang Qwen3.8 27B bago sumagot, at kasama ang reasoning sa limit; walang lamang string ang ibinabalik kapag maliit ang cap. Tingnan ang bakit walang laman ang sagot ng mga reasoning model.
Aling mga check ang nakakahuli ng pinakamaraming error?
| Check | Nahuhuli | Gastos |
|---|---|---|
| Nagpa-parse ang JSON | Prosa sa paligid ng JSON, pagkaputol | Libre |
| Pumapasa sa schema | Nawawalang key, maling type | Libre |
| Tugma ang kabuuan ng mga linya sa subtotal | Maling basa ng digit, nalaktawang linya | Libre |
| Subtotal + tax = total | Maling basa ng total o tax | Libre |
| Nagpa-parse ang petsa at wala sa hinaharap | Napagpalit na araw/buwan, ingay ng OCR | Libre |
| Tugma ang tax ID ng vendor sa listahan mo ng supplier | Maling vendor, panloloko | Isang lookup |
| Dobleng invoice number kada vendor | Dobleng bayad | Isang query |
Ang arithmetic check ang pinakasulit: halos laging sinisira ng iisang maling basang digit ang isang kabuuan. Madalas walang detalye kada linya ang mga resibo, kaya i-check kung ano ang naroon at tanggaping mas kaunti ang check para sa mga iyon.
Paano sukatin ang accuracy bago mag-live?
Mano-manong mag-label ng 50 hanggang 100 totoong dokumento, patakbuhin ang pipeline, at mag-score kada field, hindi kada dokumento. Mas mahigpit na pamantayan ang nararapat sa mga total at petsa kaysa sa mga description. Bantayan ang tatlong numero: field accuracy, ang bahagi ng mga dokumentong pumapasa sa validation nang walang retry, at ang bahaging napupunta sa review. Kung paano idisenyo ang review step na iyon, kasama ang random na audit ng mga dokumentong pumasa, ay nasa paggawa ng human review na bahagi ng document AI workflow mo. Kapag susubok ka ng ibang model, patakbuhin ang parehong set; sinasaklaw ng pag-evaluate ng LLM bago lumipat ang paraan.
Aling mga vision model ang bagay sa BroadNet Inference?
| Model | Larawan | Context | Tala |
|---|---|---|---|
| Qwen3.8 27B | Oo | 262,144 | Nakalista ang tools, structured output at reasoning; tinest sa Arabic ng BroadNet |
| Gemma 4 VL 26B | Oo | 32,768 | Pinakamababang presyo sa BroadNet; tumatakbo sa libreng credit at sa hourly key |
| DeepSeek V4.1 Flash | Oo | 1,048,576 | Kasama ang mga larawan sa mga unlimited na plan |
Nasa pricing page ang presyo kada 1M token; i-multiply ang nasukat mong token kada page sa buwanang volume sa LLM API cost calculator.
Saan pumapasok ang BroadNet Inference
Tumatanggap ang BroadNet Inference ng mga larawan sa tatlong chat model sa standard na OpenAI message format, at hindi nito itinatago ang mga prompt, larawan o sagot pagkatapos ng request, na mahalaga para sa mga invoice na puno ng pangalan, tax ID at detalye ng bangko (zero data retention). Nakalista sa docs nito ang structured output para sa Qwen3.8 27B pero hindi dinodokumento ang mga schema parameter, kaya umasa sa validation layer sa itaas, hindi sa API, para ipatupad ang schema mo. Hindi naglalathala ang BroadNet ng image size limit o ng hiwalay na document-AI na produkto, at image input ang inilalarawan ng docs nito, hindi PDF upload, kaya i-render muna bilang larawan ang mga page. Para sa malakihang run na may takdang budget, kasama ang mga larawan sa unlimited na DeepSeek V4.1 Flash plan.

