---
title: "Human review queue sa document AI: rules at sampling"
description: "Paano idisenyo ang human review sa document-AI pipeline: validation rules, ano ang ipapasa sa tao, random na audit sample, audit trail at review rate."
url: https://broadrouter.com/fil/blog/document-review-queues/
lang: fil
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/document-review-queues/) (na-update noong 2026-11-16).

# Gawing bahagi ng document AI workflow mo ang human review

Ng BroadNet Inference team · 7 minutong basa · Nailathala 2026-11-15 · Na-update 2026-11-16

Ituring na hindi pa aprubado ang bawat na-extract na dokumento hangga't hindi pumapasa sa rules. Ipasa ito sa tao kapag may kulang na required field, hindi tugma ang mga sum, mukhang mali ang petsa o vendor, o hindi sigurado ang model. Mag-review din ng maliit na random na bahagi ng malilinis na dokumento, i-log ang bawat correction sa sarili mong system, at bantayan ang review rate at audited error rate.

## Mga pangunahing punto

-   Validation rules ang nagpapasya kung ano ang makikita ng tao. Isa lang na dagdag na signal ang sariling confidence ng model, at ayon sa inilathalang research, overconfident ang mga LLM kapag sila mismo ang nagsasabi nito.
-   Dapat may machine-readable na dahilan ang bawat dokumentong nasa queue, gaya ng arithmetic o vendor:unknown, para alam ng reviewer kung saan titingin at alam mo kung aling rule ang aayusin.
-   Mag-audit ng random na sample ng mga auto-approved na dokumento. Kahit zero error sa 50 na-audit na dokumento, puwede pa ring umabot sa mga 7% ang tunay na error rate (95% Wilson interval).
-   Ikaw mismo ang magtago ng audit trail: hash ng image, model ID, bersyon ng prompt, output, mga tinamaang rule at ang correction ng reviewer. Walang itinatagong kopya ng content ang zero-retention na API.
-   Bantayan ang tatlong numero linggo-linggo: review rate, mga pangunahing dahilan ng review at ang audited error rate ng mga auto-approved na dokumento.

**Sa page na ito**

1.  Ano ang dapat magpasya kung ire-review ng tao ang isang dokumento?
2.  Dapat bang pagkatiwalaan ang confidence ng model?
3.  Paano i-route ang mga dokumento sa isang queue?
4.  Ano ang nagbabago para sa mga Arabic at English na invoice?
5.  Ano ang dapat makita ng reviewer?
6.  Bakit kailangang mag-sample ng mga dokumentong pumasa sa lahat ng rule?
7.  Paano magtago ng audit trail?
8.  Paano sukatin ang review rate?
9.  Saan pumapasok ang BroadNet Inference

Kayang basahin ng vision model ang isang invoice, pero puwede rin itong magkamali ng basa sa isang digit, lumaktaw ng linya o mag-imbento ng field na wala naman. Hindi lang mas magandang prompt ang solusyon. Kailangan ng review step na kasama na sa disenyo mula sa unang araw: mga rule na nagpapasya kung aling dokumento ang makikita ng tao, isang queue na nagsasabi sa kanila kung bakit, at isang log na magpapatunay sa error rate.

Ang step na iyan ang paksa ng post na ito. Nasa [pag-extract ng data mula sa mga dokumento gamit ang vision LLM](https://broadrouter.com/fil/blog/extract-data-from-documents-with-vision-llm/) ang mismong extraction (paghahanda ng image, ang JSON prompt, schema validation at retry), at nasa [pagbasa ng mga Arabic invoice gamit ang vision](https://broadrouter.com/fil/guides/read-arabic-invoices-with-vision/) ang pagbasang partikular sa Arabic. Dito, ipinagpapalagay namin na nakakatanggap ka na ng JSON at kailangan mo nang magpasya kung ano ang pagkakatiwalaan.

## Ano ang dapat magpasya kung ire-review ng tao ang isang dokumento?

Mga rule na kayang i-test sa code, hindi kutob tungkol sa model. Magsimula sa mga ito, ayon sa halaga:

| Rule | Halimbawang reason code | Bakit ito mahalaga |
| --- | --- | --- |
| Kulang ang required field | `missing:total` | Tapat ang null; mas masama ang hinulaang value |
| Hindi tugma ang mga sum | `arithmetic:subtotal+tax!=total` | Halos laging sinisira ng isang maling basang digit ang sum |
| Hindi tugma ang kabuuan ng line item | `arithmetic:lines!=subtotal` | Nahuhuli ang mga nalaktawan o nadobleng linya |
| Hindi ma-parse o wala sa saklaw ang petsa | `date:unparsed` | Nahuhuli ang napagpalit na araw/buwan at OCR noise |
| Hindi kilalang tax ID ng vendor | `vendor:unknown` | Dito nagsisimula ang mga bagong supplier at ang fraud |
| Hindi inaasahang currency | `currency:unexpected` | Binabago ng maling basang simbolo ang halaga |
| Sinasabi ng model na hindi ito sigurado | `model:not_confident` | Pahiwatig lang, hindi kailanman ang tanging gate |

Dalawang desisyon sa disenyo ang nagpapagamit sa queue. Una, bawat rule ay naglalabas ng maikli at hindi nagbabagong reason code, para alam na ng reviewer kung ano ang titingnan pagbukas niya ng dokumento, at mabibilang mo kung aling rule ang pinakamadalas tumama. Pangalawa, ang dokumento ay pumapasa sa lahat ng rule o napupunta sa tao. Iwasan ang mga weighted score na walang makapagpaliwanag sa auditor.

## Dapat bang pagkatiwalaan ang confidence ng model?

Ituring itong mahinang signal. Puwede mong hilingin sa model na i-rate ang bawat field bilang high, medium o low confidence, at gagawin nito iyon. Pero nag-benchmark sina Xiong et al. (ICLR 2024) ng mga paraan para pasabihin ng confidence ang mga LLM, at nakita nilang “tend to be overconfident” (salin: madalas na sobra ang kumpiyansa) ang mga model kapag sinasabi nila kung gaano sila kasigurado; nakatulong ang mas magandang prompting at sampling, at walang paraan na palaging nanalo sa iba. Isa pang opsyon sa ilang API ang token log-probability. Hindi dinodokumento ng API reference ng BroadNet ang `logprobs`, kaya huwag magdisenyo nang nakasandal dito roon.

Ang praktikal na patakaran: ipinapadala sa review ang dokumento kapag mas mababa sa “high” ang sabi ng model, o kapag wala itong rating, pero hindi kailanman nilalaktawan ng “high” ang mga check sa code. Pagkatapos ng ilang daang na-review na dokumento, tingnan kung talagang mas kaunti ang correction sa mga “high” na field. Kung hindi, alisin ang signal.

## Paano i-route ang mga dokumento sa isang queue?

Tumatakbo ang router na ito pagkatapos ng extraction at validation. Ino-normalize nito ang Arabic-Indic na digit, inilalapat ang mga rule sa itaas at pumipili ng isa sa tatlong queue: `review`, `audit_sample` o `auto`. Simpleng Python ito na walang API call, kaya puwede mo itong i-unit test.

```python
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation

REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"}   # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05          # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")

def money(v):
    """'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
    if v is None:
        return None
    s = str(v).translate(DIGITS).replace(",", "").strip()
    try:
        return Decimal(s)
    except InvalidOperation:
        return None

def check(doc: dict, today: date) -> list[str]:
    """Return the reasons this document needs a person. Empty list = may auto-approve."""
    reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
    sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
    if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
        reasons.append("arithmetic:subtotal+tax!=total")
    lines = [money(l.get("amount")) for l in doc.get("lines", [])]
    if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
        reasons.append("arithmetic:lines!=subtotal")
    try:
        d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
        if d > today or (today - d).days > 400:
            reasons.append("date:out_of_range")
    except ValueError:
        reasons.append("date:unparsed")
    if doc.get("currency") and doc["currency"] not in CURRENCIES:
        reasons.append("currency:unexpected")
    if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
        reasons.append("vendor:unknown")
    if doc.get("model_confidence", "low") != "high":   # a hint from the prompt, never the only gate
        reasons.append("model:not_confident")
    return reasons

def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
    reasons = check(doc, today)
    if reasons:
        queue = "review"
    elif rng() < AUTO_SAMPLE_RATE:
        queue, reasons = "audit_sample", ["sample:random"]
    else:
        queue = "auto"
    return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
            "reasons": reasons, "ts": int(time.time())}
```

Sinubukan namin ito sa tatlong gawa-gawang Saudi invoice (kathang-isip ang vendor at tax ID). Napunta sa `auto` ang malinis na invoice, na nakasulat sa Arabic-Indic na digit ang petsa at subtotal (٢٠٢٦-١١-٠٢ at ١٬٠٠٠٫٠٠). Napunta sa `review` ang parehong invoice na mali ang basa sa total bilang 1,105.00, na may `arithmetic:subtotal+tax!=total`. Napunta sa `review` ang isang may hindi kilalang tax ID, buwang 13 at “medium” na confidence, na may tatlong dahilan: `date:unparsed`, `vendor:unknown` at `model:not_confident`. Nang pilitin naming mas mababa sa 0.05 ang random draw, napunta ang malinis na invoice sa `audit_sample`.

Dalawang limitasyon na dapat mong malaman. Ipinagpapalagay ng helper na `money()` na tuldok o Arabic na decimal separator ang gamit; kailangan ng European na “1.150,00” ng sariling parser na nakabatay sa bansa ng vendor. At ipinagpapalagay ng date rule na ISO date ang ibinalik ng model. Kailangan munang i-convert ang mga Hijri date, gaya sa [Arabic named entity extraction](https://broadrouter.com/fil/blog/arabic-named-entity-extraction-llm/).

## Ano ang nagbabago para sa mga Arabic at English na invoice?

Karaniwan sa Gulf ang mga bilingual na invoice: magkatabi ang Arabic at English na label, nasa Western o Arabic-Indic na digit ang mga halaga, at nasa dalawang script ang pangalan ng vendor. Nakakatulong ang ilang rule:

-   **I-normalize ang mga digit bago ang anumang check.** I-map ang ٠–٩ at ang Persian na ۰–۹ sa 0–9, at ang Arabic na decimal at thousands separator (٫ at ٬) sa ASCII na anyo nila. Saka ikumpara.
-   **Itugma ang vendor batay sa tax ID, hindi sa pangalan.** Bihirang tumugma letra por letra sa master record mo ang Arabic at English na pangalan. Ang registration number, tumutugma.
-   **Ipakita sa reviewer ang dalawang pangalan.** Ipakita ang na-extract na Arabic at English na pangalan ng vendor sa tabi ng master record, na nasa right-to-left at hiwalay na block ang Arabic. Tinatalakay ng post tungkol sa [multilingual product design](https://broadrouter.com/fil/blog/multilingual-product-design/) ang bidi display.
-   **Alamin kung may structured invoice.** Nagpapatakbo ang ZATCA ng Saudi Arabia ng electronic invoicing (Fatoorah) sa dalawang phase, mula 4 Disyembre 2021 at 1 Enero 2023, na nakabatay sa mga invoice na nasa structured na electronic format. Kung kayang ipadala iyon ng supplier, i-parse iyon sa halip na basahin ang larawan nito, at itabi ang vision para sa papel, litrato at sa long tail.

Tinatalakay ng [Arabic OCR gamit ang vision LLM](https://broadrouter.com/fil/blog/arabic-ocr-vision-llm/) ang bahaging pagbasa: diacritics, magkahalong script at layout.

## Ano ang dapat makita ng reviewer?

Sinasagot ng magandang review screen ang isang tanong kada reason code. Para sa `arithmetic`, ipakita nang magkakatabi ang mga line item, subtotal, tax at total kasama ang kinuwentang sum. Para sa `vendor:unknown`, ipakita ang na-extract na tax ID at ang pinakamalapit na mga master record. Para sa `date:unparsed`, ipakita ang raw na text ng petsa at ang crop ng image na pinanggalingan nito.

Ipakita ang image sa tabi ng mga field, hindi sa ibang tab. Hayaang ayusin ng reviewer ang isang field, aprubahan, o tanggihan ang dokumento bilang hindi mabasa. I-record kung anong aksyon ang ginawa niya. Kapaki-pakinabang na data ang “hindi mabasa”: kung 10% ng mga dokumento ng isang supplier ang hindi mabasa, humingi ng PDF sa supplier na iyon, hindi ng himala sa model mo.

## Bakit kailangang mag-sample ng mga dokumentong pumasa sa lahat ng rule?

Dahil nahuhuli lang ng mga rule ang mga error na naisip mo. Kung mali ang basa ng model sa isang line item, sa subtotal at sa total nang parehong halaga (isang malabong 7 na nabasang 1 sa tatlong lugar), tugma pa rin ang lahat ng sum at walang rule na tatama. Ang tanging paraan para mahanap ang mga error na iyon ay tingnan ang mga dokumentong walang nag-flag.

I-sample sila nang random, hindi pinipili, at bilangin kung ilan ang nangailangan ng correction. Malapad ang saklaw na ibinibigay ng maliit na sample. Gamit ang 95% Wilson interval, na inilalarawan ng NIST handbook para sa mga proportion (binabanggit ang mga rekomendasyon nina Agresti at Coull, at nina Brown, Cai at DasGupta), ito ang ibinibigay ng metrics code namin sa ibaba:

| Mga na-audit na dokumento na zero error ang nakita | Puwede pa ring umabot ang tunay na error rate sa |
| --- | --- |
| 50 | mga 7.1% |
| 300 | mga 1.3% |

Kaya hindi ibig sabihin ng “nag-audit kami ng 50 at walang nakita” na mas mababa sa 1% ang error rate. Lakihan ang sample pagkatapos ng anumang pagbabago sa prompt, model o halo ng mga dokumento, at dahan-dahan itong ibaba.

## Paano magtago ng audit trail?

I-record ang mga correction sa sarili mong system. Kailangan ng bawat dokumento ng row na may:

-   SHA-256 hash ng source file (at kung saan naka-store ang mismong file, ayon sa retention rules mo);
-   ang model ID, bersyon ng prompt at ang raw JSON na ibinalik ng model;
-   ang request ID ng provider (ibinabalik ito ng BroadNet sa header na `X-Request-ID`) para sa mga tanong sa support;
-   ang resulta ng rules at ang queue;
-   ang reviewer, ang oras, ang aksyon at ang value bago at pagkatapos ng bawat naitamang field.

Mas mahalaga ito sa zero-retention na API. Sinasabi ng privacy statement ng BroadNet na walang itinatagong prompt, image, response o transcript ang gateway nito, at mga account, billing, traffic at security record lang na walang content ang itinatago. Maganda ito para sa mga sensitibong invoice, pero ibig sabihin, walang sinuman sa provider ang makakapagpakita sa iyo kung ano ang nakita o sinabi ng model noong isang buwan. Ang log mo lang ang tanging record. Huwag itong lagyan ng anumang hindi mo kailangan; tinatalakay ng [LLM API usage logging](https://broadrouter.com/fil/blog/llm-api-usage-logging/) kung ano ang ilo-log at ano ang ire-redact.

## Paano sukatin ang review rate?

Patakbuhin ito linggo-linggo sa routing log, kasama ang mga correction:

```python
import math
from collections import Counter

def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
    """95% Wilson score interval for an error rate seen in a sample."""
    if n == 0:
        return (0.0, 1.0)
    p = errors / n
    centre = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return (max(0.0, centre - half), min(1.0, centre + half))

def report(log: list[dict]) -> dict:
    queues = Counter(r["queue"] for r in log)
    reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
    audited = [r for r in log if r["queue"] == "audit_sample"]
    wrong = sum(1 for r in audited if r.get("corrected_fields"))
    lo, hi = wilson(wrong, len(audited))
    return {"documents": len(log),
            "review_rate": round(queues["review"] / len(log), 3),
            "top_reasons": reasons.most_common(3),
            "audited": len(audited), "audited_with_errors": wrong,
            "auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
```

Sa isang synthetic na linggo ng 1,000 dokumento (760 auto, 190 review, 50 na-audit na 2 ang nangailangan ng correction), nag-report ito ng review rate na 0.19, `vendor` bilang pangunahing dahilan na may 120, at audited error rate na nasa pagitan ng 1.1% at 13.5%. Ang huling saklaw na iyon ang tapat na sagot sa “gaano katumpak ang automation?” sa laki ng sample na ito.

Basahin nang sabay ang tatlong numero:

-   **Bumababa ang review rate, hindi gumagalaw ang audited error:** masyadong mahigpit ang isang rule, o gumaling ang model. Maganda.
-   **Bumababa ang review rate, tumataas ang audited error:** masyadong maluwag ang isang rule. Higpitan ito bago umabot sa ledger mo ang mga error.
-   **Isang dahilan ang nangingibabaw:** ayusin ang sanhi. Kung `vendor:unknown` ang nangunguna, i-update ang supplier master; kung `arithmetic` ang nangunguna, tingnan ang kalidad ng image o subukan ang ibang model sa parehong mga dokumento gamit ang paraan sa [pag-evaluate ng LLM bago lumipat](https://broadrouter.com/fil/blog/evaluate-llm-before-switching/).

## Saan pumapasok ang BroadNet Inference

Sariling site ng BroadNet ang BroadRouter. Ayon sa [pricing feed](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-document-review-queues&utm_content=body) nito, may tatlong chat model ang BroadNet Inference na tumatanggap ng image: [Qwen3.8 27B](https://broadrouter.com/fil/models/qwen3.8-27b/) ($0.175 input / $2.17 output kada 1M token, na may dokumentadong structured output), [Gemma 4 VL 26B](https://broadrouter.com/fil/models/gemma-4-vl-26b/) ($0.10 / $0.22, magagamit sa $5 na panimulang credit) at [DeepSeek V4.1 Flash](https://broadrouter.com/fil/models/deepseek-v4.1-flash/) ($0.175 / $0.52). Sa pay-as-you-go, binibilang ang mga image bilang input token; nakakatulong ang [image token calculator](https://broadrouter.com/tools/image-token-calculator/) sa pagtantiya nito. Hindi itinatago ang inference content; itinatago ang kinakailangang account, billing at security metadata ayon sa [privacy statement](https://www.broadnet.ai/inference-privacy) ng BroadNet. Walang review queue o audit log na ibinibigay ang BroadNet, kaya ikaw ang bubuo at magtatago ng routing at mga record sa itaas.

Mga libreng tool para rito (Ingles)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[Token](https://broadrouter.com/fil/glossary/token/)

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

[Optical character recognition (OCR)](https://broadrouter.com/fil/glossary/ocr/)

Ang optical character recognition (OCR) ay teknolohiyang tumutukoy at nagko-convert ng naka-print o sulat-kamay na text sa isang larawan, scan o PDF tungo sa machine-readable na character. Text at posisyon nito sa page ang output ng klasikong OCR; ang vision-language model naman ay kayang basahin ang text at direktang sagutin ang mga tanong tungkol dito.

[Right-to-left (RTL) text](https://broadrouter.com/fil/glossary/rtl-text/)

Ang right-to-left (RTL) text ay pagsulat, gaya ng Arabic o Hebrew, na ipinapakita mula kanan pakaliwa. Iniimbak ito ng computer sa lohikal na pagkakasunod ng pagbasa, at ang Unicode Bidirectional Algorithm ang nagpapasya ng ayos sa screen kapag nahahalo ang RTL text sa left-to-right text, numero, pangalan ng model o code.

[Arabic diacritics (tashkeel)](https://broadrouter.com/fil/glossary/arabic-diacritics/)

Ang Arabic diacritics, o tashkeel, ay maliliit na markang isinusulat sa itaas o ibaba ng mga titik para ipakita ang maiikling patinig, dobleng katinig at kawalan ng patinig. Opsyonal ang mga ito: wala ang mga ito sa karamihan ng Arabic text, pati sa balita, kaya hinuhulaan ng mambabasa at ng software ang patinig mula sa context.

[Input at output token (input and output tokens)](https://broadrouter.com/fil/glossary/input-and-output-tokens/)

Ang input token ay ang mga token na binabasa ng language model sa isang request, kasama ang system prompt, history ng usapan, tool definitions at mga larawan. Ang output token ay ang mga token na binubuo nito bilang sagot, kasama ang anumang reasoning. Kadalasang magkahiwalay ang presyo ng dalawa, at mas mahal ang output.

[Named entity recognition (NER)](https://broadrouter.com/fil/glossary/named-entity-recognition/)

Ang named entity recognition (NER) ay ang task ng paghahanap ng mga pangalan sa text at paglalagay ng uri sa bawat isa, gaya ng tao, organisasyon o lokasyon. Tina-tag ng mga klasikong system ang bawat token; sa mga LLM naman, madalas hinihingi ang listahan ng entities bilang JSON, na sinusuri pagkatapos laban sa source.

[Pay-as-you-go](https://broadrouter.com/fil/glossary/pay-as-you-go/)

Ang pay-as-you-go ay paraan ng pagpepresyo kung saan ang nagamit mo lang ang binabayaran mo, sinusukat kada yunit gaya ng token, request o minuto ng audio, nang walang subscription o minimum na commitment. Ganito naniningil ang karamihan ng LLM API, mula sa prepaid na balance o sa pana-panahong invoice.

[Prompt engineering](https://broadrouter.com/fil/glossary/prompt-engineering/)

Ang prompt engineering ay ang proseso ng pagsulat, pag-aayos at pag-test ng mga instruction na ibinibigay sa isang language model para palagi itong makagawa ng output na tumutugon sa mga requirement mo. Sakop nito ang mga role message, malinaw na instruction, mga example, format, at pagsukat ng resulta gamit ang mga test case.

## Mga tanong

### Ano ang dapat ipasa sa human review sa invoice extraction?

Lahat ng bumabagsak sa isang rule: kulang na required field, line item o tax na hindi tugma sa total, petsang hindi ma-parse o wala sa saklaw, hindi kilalang vendor, hindi inaasahang currency, o confidence mula sa model na mas mababa sa "high". Magdagdag ng maliit na random na sample ng mga dokumentong pumasa sa lahat ng rule.

### Puwede ko bang gamitin ang confidence score ng model para laktawan ang review?

Hindi kung iyon lang. Nakita ng research tungkol sa stated confidence (Xiong et al., ICLR 2024) na madalas overconfident ang mga LLM. Gamitin ito bilang isang signal kasama ng mga check sa code, at tingnan sa labelled data mo kung talagang mas kaunti ang error kapag "high".

### Ilang auto-approved na dokumento ang dapat kong i-audit?

Sapat para malimitahan ang error rate na mahalaga sa iyo. Kung zero error ang nakita, nalilimitahan ng 50 na-audit na dokumento ang tunay na rate sa mga 7% (95% Wilson upper limit) at ng 300 sa mga 1.3%. Lakihan ang sample kapag may nagbagong rule, prompt o model.

### Ano ang magandang review rate?

Walang iisang numero para sa lahat. Magsimula nang mataas, at ibaba lang ito habang nananatili sa tolerance mo ang audited error rate ng mga auto-approved na dokumento. Kapag bumababa ang review rate pero tumataas ang audited error rate, masyadong maluwag ang isang rule.

### Saan dapat nakatago ang audit trail?

Sa sarili mong database. I-store ang hash ng source file, ang model ID, bersyon ng prompt, raw output, resulta ng rules, ang reviewer at ang mga naitamang value. Kung hindi itinatago ng provider mo ang content ng request, gaya ng sinasabi ng BroadNet tungkol sa inference API nito, wala nang ibang makakabuo ulit nito sa ibang araw.

## Magbasa pa

-   [Data ng invoice, resibo at form sa JSON gamit ang vision LLM](https://broadrouter.com/fil/blog/extract-data-from-documents-with-vision-llm/)
-   [Arabic OCR vs vision LLM: pagbasa ng Arabic na dokumento at invoice](https://broadrouter.com/fil/blog/arabic-ocr-vision-llm/)
-   [JSON mode vs json\_schema: structured output na maaasahan](https://broadrouter.com/fil/blog/structured-output-json-schema/)
-   [Paano mag-evaluate ng LLM bago lumipat ng provider](https://broadrouter.com/fil/blog/evaluate-llm-before-switching/)
-   [Usage logging ng LLM API: gastos kada user at feature, walang PII](https://broadrouter.com/fil/blog/llm-api-usage-logging/)
-   [Paano ayusin ang invalid JSON mula sa LLM: sanhi, repair, retry](https://broadrouter.com/fil/blog/fix-invalid-json-from-llm/)
-   [GPU hardware at paraan ng serving ng BroadNet, ayon sa BroadNet](https://broadrouter.com/fil/blog/broadnet-gpu-fleet-and-serving/)
-   [I-cache ang LLM API response, makatipid: exact-match cache sa Python](https://broadrouter.com/fil/blog/cache-llm-responses-cut-cost/)
-   [Gabay: Basahin ang mga Arabic na invoice at resibo gamit ang vision model](https://broadrouter.com/fil/guides/read-arabic-invoices-with-vision/)
-   [Gabay: Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-document-review-queues&utm_content=page-cta) ·

**Mga source**

-   [Xiong et al., Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs, ICLR 2024 (sinuri noong 2026-11-15)](https://arxiv.org/abs/2306.13063)
-   [NIST/SEMATECH e-Handbook of Statistical Methods, 7.2.4: confidence interval para sa proportion, Wilson method (sinuri noong 2026-11-15)](https://www.itl.nist.gov/div898/handbook/prc/section2/prc241.htm)
-   [ZATCA, E-Invoicing (Fatoorah): Phase 1 mula 4 Disyembre 2021, Phase 2 mula 1 Enero 2023 (sinuri noong 2026-11-15)](https://zatca.gov.sa/en/E-Invoicing/Pages/default.aspx)
-   [API reference ng BroadNet Inference: chat na may image, structured output, X-Request-ID, paghawak ng data (sinuri noong 2026-11-15) (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-document-review-queues&utm_content=sources)
-   [pricing.json ng BroadNet Inference: modality at presyo ng mga model (sinuri noong 2026-11-15) (Ingles)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-document-review-queues&utm_content=sources)
-   [Pahayag ng BroadNet Inference tungkol sa privacy at data retention (sinuri noong 2026-11-15) (Ingles)](https://www.broadnet.ai/inference-privacy)
