BroadRouter

Gawing bahagi ng document AI workflow mo ang human review

Ng BroadNet Inference team · 7 minutong basa · Nailathala · Na-update

Ituring na hindi pa aprubado ang bawat na-extract na dokumento hangga't hindi pumapasa sa rules. Ipasa ito sa tao kapag may kulang na required field, hindi tugma ang mga sum, mukhang mali ang petsa o vendor, o hindi sigurado ang model. Mag-review din ng maliit na random na bahagi ng malilinis na dokumento, i-log ang bawat correction sa sarili mong system, at bantayan ang review rate at audited error rate.

Kayang basahin ng vision model ang isang invoice, pero puwede rin itong magkamali ng basa sa isang digit, lumaktaw ng linya o mag-imbento ng field na wala naman. Hindi lang mas magandang prompt ang solusyon. Kailangan ng review step na kasama na sa disenyo mula sa unang araw: mga rule na nagpapasya kung aling dokumento ang makikita ng tao, isang queue na nagsasabi sa kanila kung bakit, at isang log na magpapatunay sa error rate.

Ang step na iyan ang paksa ng post na ito. Nasa pag-extract ng data mula sa mga dokumento gamit ang vision LLM ang mismong extraction (paghahanda ng image, ang JSON prompt, schema validation at retry), at nasa pagbasa ng mga Arabic invoice gamit ang vision ang pagbasang partikular sa Arabic. Dito, ipinagpapalagay namin na nakakatanggap ka na ng JSON at kailangan mo nang magpasya kung ano ang pagkakatiwalaan.

Ano ang dapat magpasya kung ire-review ng tao ang isang dokumento?

Mga rule na kayang i-test sa code, hindi kutob tungkol sa model. Magsimula sa mga ito, ayon sa halaga:

Rule Halimbawang reason code Bakit ito mahalaga
Kulang ang required field missing:total Tapat ang null; mas masama ang hinulaang value
Hindi tugma ang mga sum arithmetic:subtotal+tax!=total Halos laging sinisira ng isang maling basang digit ang sum
Hindi tugma ang kabuuan ng line item arithmetic:lines!=subtotal Nahuhuli ang mga nalaktawan o nadobleng linya
Hindi ma-parse o wala sa saklaw ang petsa date:unparsed Nahuhuli ang napagpalit na araw/buwan at OCR noise
Hindi kilalang tax ID ng vendor vendor:unknown Dito nagsisimula ang mga bagong supplier at ang fraud
Hindi inaasahang currency currency:unexpected Binabago ng maling basang simbolo ang halaga
Sinasabi ng model na hindi ito sigurado model:not_confident Pahiwatig lang, hindi kailanman ang tanging gate

Dalawang desisyon sa disenyo ang nagpapagamit sa queue. Una, bawat rule ay naglalabas ng maikli at hindi nagbabagong reason code, para alam na ng reviewer kung ano ang titingnan pagbukas niya ng dokumento, at mabibilang mo kung aling rule ang pinakamadalas tumama. Pangalawa, ang dokumento ay pumapasa sa lahat ng rule o napupunta sa tao. Iwasan ang mga weighted score na walang makapagpaliwanag sa auditor.

Dapat bang pagkatiwalaan ang confidence ng model?

Ituring itong mahinang signal. Puwede mong hilingin sa model na i-rate ang bawat field bilang high, medium o low confidence, at gagawin nito iyon. Pero nag-benchmark sina Xiong et al. (ICLR 2024) ng mga paraan para pasabihin ng confidence ang mga LLM, at nakita nilang “tend to be overconfident” (salin: madalas na sobra ang kumpiyansa) ang mga model kapag sinasabi nila kung gaano sila kasigurado; nakatulong ang mas magandang prompting at sampling, at walang paraan na palaging nanalo sa iba. Isa pang opsyon sa ilang API ang token log-probability. Hindi dinodokumento ng API reference ng BroadNet ang logprobs, kaya huwag magdisenyo nang nakasandal dito roon.

Ang praktikal na patakaran: ipinapadala sa review ang dokumento kapag mas mababa sa “high” ang sabi ng model, o kapag wala itong rating, pero hindi kailanman nilalaktawan ng “high” ang mga check sa code. Pagkatapos ng ilang daang na-review na dokumento, tingnan kung talagang mas kaunti ang correction sa mga “high” na field. Kung hindi, alisin ang signal.

Paano i-route ang mga dokumento sa isang queue?

Tumatakbo ang router na ito pagkatapos ng extraction at validation. Ino-normalize nito ang Arabic-Indic na digit, inilalapat ang mga rule sa itaas at pumipili ng isa sa tatlong queue: review, audit_sample o auto. Simpleng Python ito na walang API call, kaya puwede mo itong i-unit test.

import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation

REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"}   # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05          # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")

def money(v):
    """'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
    if v is None:
        return None
    s = str(v).translate(DIGITS).replace(",", "").strip()
    try:
        return Decimal(s)
    except InvalidOperation:
        return None

def check(doc: dict, today: date) -> list[str]:
    """Return the reasons this document needs a person. Empty list = may auto-approve."""
    reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
    sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
    if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
        reasons.append("arithmetic:subtotal+tax!=total")
    lines = [money(l.get("amount")) for l in doc.get("lines", [])]
    if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
        reasons.append("arithmetic:lines!=subtotal")
    try:
        d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
        if d > today or (today - d).days > 400:
            reasons.append("date:out_of_range")
    except ValueError:
        reasons.append("date:unparsed")
    if doc.get("currency") and doc["currency"] not in CURRENCIES:
        reasons.append("currency:unexpected")
    if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
        reasons.append("vendor:unknown")
    if doc.get("model_confidence", "low") != "high":   # a hint from the prompt, never the only gate
        reasons.append("model:not_confident")
    return reasons

def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
    reasons = check(doc, today)
    if reasons:
        queue = "review"
    elif rng() < AUTO_SAMPLE_RATE:
        queue, reasons = "audit_sample", ["sample:random"]
    else:
        queue = "auto"
    return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
            "reasons": reasons, "ts": int(time.time())}

Sinubukan namin ito sa tatlong gawa-gawang Saudi invoice (kathang-isip ang vendor at tax ID). Napunta sa auto ang malinis na invoice, na nakasulat sa Arabic-Indic na digit ang petsa at subtotal (٢٠٢٦-١١-٠٢ at ١٬٠٠٠٫٠٠). Napunta sa review ang parehong invoice na mali ang basa sa total bilang 1,105.00, na may arithmetic:subtotal+tax!=total. Napunta sa review ang isang may hindi kilalang tax ID, buwang 13 at “medium” na confidence, na may tatlong dahilan: date:unparsed, vendor:unknown at model:not_confident. Nang pilitin naming mas mababa sa 0.05 ang random draw, napunta ang malinis na invoice sa audit_sample.

Dalawang limitasyon na dapat mong malaman. Ipinagpapalagay ng helper na money() na tuldok o Arabic na decimal separator ang gamit; kailangan ng European na “1.150,00” ng sariling parser na nakabatay sa bansa ng vendor. At ipinagpapalagay ng date rule na ISO date ang ibinalik ng model. Kailangan munang i-convert ang mga Hijri date, gaya sa Arabic named entity extraction.

Ano ang nagbabago para sa mga Arabic at English na invoice?

Karaniwan sa Gulf ang mga bilingual na invoice: magkatabi ang Arabic at English na label, nasa Western o Arabic-Indic na digit ang mga halaga, at nasa dalawang script ang pangalan ng vendor. Nakakatulong ang ilang rule:

  • I-normalize ang mga digit bago ang anumang check. I-map ang ٠–٩ at ang Persian na ۰–۹ sa 0–9, at ang Arabic na decimal at thousands separator (٫ at ٬) sa ASCII na anyo nila. Saka ikumpara.
  • Itugma ang vendor batay sa tax ID, hindi sa pangalan. Bihirang tumugma letra por letra sa master record mo ang Arabic at English na pangalan. Ang registration number, tumutugma.
  • Ipakita sa reviewer ang dalawang pangalan. Ipakita ang na-extract na Arabic at English na pangalan ng vendor sa tabi ng master record, na nasa right-to-left at hiwalay na block ang Arabic. Tinatalakay ng post tungkol sa multilingual product design ang bidi display.
  • Alamin kung may structured invoice. Nagpapatakbo ang ZATCA ng Saudi Arabia ng electronic invoicing (Fatoorah) sa dalawang phase, mula 4 Disyembre 2021 at 1 Enero 2023, na nakabatay sa mga invoice na nasa structured na electronic format. Kung kayang ipadala iyon ng supplier, i-parse iyon sa halip na basahin ang larawan nito, at itabi ang vision para sa papel, litrato at sa long tail.

Tinatalakay ng Arabic OCR gamit ang vision LLM ang bahaging pagbasa: diacritics, magkahalong script at layout.

Ano ang dapat makita ng reviewer?

Sinasagot ng magandang review screen ang isang tanong kada reason code. Para sa arithmetic, ipakita nang magkakatabi ang mga line item, subtotal, tax at total kasama ang kinuwentang sum. Para sa vendor:unknown, ipakita ang na-extract na tax ID at ang pinakamalapit na mga master record. Para sa date:unparsed, ipakita ang raw na text ng petsa at ang crop ng image na pinanggalingan nito.

Ipakita ang image sa tabi ng mga field, hindi sa ibang tab. Hayaang ayusin ng reviewer ang isang field, aprubahan, o tanggihan ang dokumento bilang hindi mabasa. I-record kung anong aksyon ang ginawa niya. Kapaki-pakinabang na data ang “hindi mabasa”: kung 10% ng mga dokumento ng isang supplier ang hindi mabasa, humingi ng PDF sa supplier na iyon, hindi ng himala sa model mo.

Bakit kailangang mag-sample ng mga dokumentong pumasa sa lahat ng rule?

Dahil nahuhuli lang ng mga rule ang mga error na naisip mo. Kung mali ang basa ng model sa isang line item, sa subtotal at sa total nang parehong halaga (isang malabong 7 na nabasang 1 sa tatlong lugar), tugma pa rin ang lahat ng sum at walang rule na tatama. Ang tanging paraan para mahanap ang mga error na iyon ay tingnan ang mga dokumentong walang nag-flag.

I-sample sila nang random, hindi pinipili, at bilangin kung ilan ang nangailangan ng correction. Malapad ang saklaw na ibinibigay ng maliit na sample. Gamit ang 95% Wilson interval, na inilalarawan ng NIST handbook para sa mga proportion (binabanggit ang mga rekomendasyon nina Agresti at Coull, at nina Brown, Cai at DasGupta), ito ang ibinibigay ng metrics code namin sa ibaba:

Mga na-audit na dokumento na zero error ang nakita Puwede pa ring umabot ang tunay na error rate sa
50 mga 7.1%
300 mga 1.3%

Kaya hindi ibig sabihin ng “nag-audit kami ng 50 at walang nakita” na mas mababa sa 1% ang error rate. Lakihan ang sample pagkatapos ng anumang pagbabago sa prompt, model o halo ng mga dokumento, at dahan-dahan itong ibaba.

Paano magtago ng audit trail?

I-record ang mga correction sa sarili mong system. Kailangan ng bawat dokumento ng row na may:

  • SHA-256 hash ng source file (at kung saan naka-store ang mismong file, ayon sa retention rules mo);
  • ang model ID, bersyon ng prompt at ang raw JSON na ibinalik ng model;
  • ang request ID ng provider (ibinabalik ito ng BroadNet sa header na X-Request-ID) para sa mga tanong sa support;
  • ang resulta ng rules at ang queue;
  • ang reviewer, ang oras, ang aksyon at ang value bago at pagkatapos ng bawat naitamang field.

Mas mahalaga ito sa zero-retention na API. Sinasabi ng privacy statement ng BroadNet na walang itinatagong prompt, image, response o transcript ang gateway nito, at mga account, billing, traffic at security record lang na walang content ang itinatago. Maganda ito para sa mga sensitibong invoice, pero ibig sabihin, walang sinuman sa provider ang makakapagpakita sa iyo kung ano ang nakita o sinabi ng model noong isang buwan. Ang log mo lang ang tanging record. Huwag itong lagyan ng anumang hindi mo kailangan; tinatalakay ng LLM API usage logging kung ano ang ilo-log at ano ang ire-redact.

Paano sukatin ang review rate?

Patakbuhin ito linggo-linggo sa routing log, kasama ang mga correction:

import math
from collections import Counter

def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
    """95% Wilson score interval for an error rate seen in a sample."""
    if n == 0:
        return (0.0, 1.0)
    p = errors / n
    centre = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return (max(0.0, centre - half), min(1.0, centre + half))

def report(log: list[dict]) -> dict:
    queues = Counter(r["queue"] for r in log)
    reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
    audited = [r for r in log if r["queue"] == "audit_sample"]
    wrong = sum(1 for r in audited if r.get("corrected_fields"))
    lo, hi = wilson(wrong, len(audited))
    return {"documents": len(log),
            "review_rate": round(queues["review"] / len(log), 3),
            "top_reasons": reasons.most_common(3),
            "audited": len(audited), "audited_with_errors": wrong,
            "auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}

Sa isang synthetic na linggo ng 1,000 dokumento (760 auto, 190 review, 50 na-audit na 2 ang nangailangan ng correction), nag-report ito ng review rate na 0.19, vendor bilang pangunahing dahilan na may 120, at audited error rate na nasa pagitan ng 1.1% at 13.5%. Ang huling saklaw na iyon ang tapat na sagot sa “gaano katumpak ang automation?” sa laki ng sample na ito.

Basahin nang sabay ang tatlong numero:

  • Bumababa ang review rate, hindi gumagalaw ang audited error: masyadong mahigpit ang isang rule, o gumaling ang model. Maganda.
  • Bumababa ang review rate, tumataas ang audited error: masyadong maluwag ang isang rule. Higpitan ito bago umabot sa ledger mo ang mga error.
  • Isang dahilan ang nangingibabaw: ayusin ang sanhi. Kung vendor:unknown ang nangunguna, i-update ang supplier master; kung arithmetic ang nangunguna, tingnan ang kalidad ng image o subukan ang ibang model sa parehong mga dokumento gamit ang paraan sa pag-evaluate ng LLM bago lumipat.

Saan pumapasok ang BroadNet Inference

Sariling site ng BroadNet ang BroadRouter. Ayon sa pricing feed nito, may tatlong chat model ang BroadNet Inference na tumatanggap ng image: Qwen3.8 27B ($0.175 input / $2.17 output kada 1M token, na may dokumentadong structured output), Gemma 4 VL 26B ($0.10 / $0.22, magagamit sa $5 na panimulang credit) at DeepSeek V4.1 Flash ($0.175 / $0.52). Sa pay-as-you-go, binibilang ang mga image bilang input token; nakakatulong ang image token calculator sa pagtantiya nito. Hindi itinatago ang inference content; itinatago ang kinakailangang account, billing at security metadata ayon sa privacy statement ng BroadNet. Walang review queue o audit log na ibinibigay ang BroadNet, kaya ikaw ang bubuo at magtatago ng routing at mga record sa itaas.

Mga tanong

Ano ang dapat ipasa sa human review sa invoice extraction?

Lahat ng bumabagsak sa isang rule: kulang na required field, line item o tax na hindi tugma sa total, petsang hindi ma-parse o wala sa saklaw, hindi kilalang vendor, hindi inaasahang currency, o confidence mula sa model na mas mababa sa "high". Magdagdag ng maliit na random na sample ng mga dokumentong pumasa sa lahat ng rule.

Puwede ko bang gamitin ang confidence score ng model para laktawan ang review?

Hindi kung iyon lang. Nakita ng research tungkol sa stated confidence (Xiong et al., ICLR 2024) na madalas overconfident ang mga LLM. Gamitin ito bilang isang signal kasama ng mga check sa code, at tingnan sa labelled data mo kung talagang mas kaunti ang error kapag "high".

Ilang auto-approved na dokumento ang dapat kong i-audit?

Sapat para malimitahan ang error rate na mahalaga sa iyo. Kung zero error ang nakita, nalilimitahan ng 50 na-audit na dokumento ang tunay na rate sa mga 7% (95% Wilson upper limit) at ng 300 sa mga 1.3%. Lakihan ang sample kapag may nagbagong rule, prompt o model.

Ano ang magandang review rate?

Walang iisang numero para sa lahat. Magsimula nang mataas, at ibaba lang ito habang nananatili sa tolerance mo ang audited error rate ng mga auto-approved na dokumento. Kapag bumababa ang review rate pero tumataas ang audited error rate, masyadong maluwag ang isang rule.

Saan dapat nakatago ang audit trail?

Sa sarili mong database. I-store ang hash ng source file, ang model ID, bersyon ng prompt, raw output, resulta ng rules, ang reviewer at ang mga naitamang value. Kung hindi itinatago ng provider mo ang content ng request, gaya ng sinasabi ng BroadNet tungkol sa inference API nito, wala nang ibang makakabuo ulit nito sa ibang araw.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity