---
title: "Antrean review manusia untuk AI dokumen: aturan dan sampling"
description: "Rancang tahap review manusia di pipeline AI dokumen: aturan validasi, apa yang dikirim ke reviewer, sampel audit acak, jejak audit, dan tingkat review."
url: https://broadrouter.com/id/blog/document-review-queues/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/document-review-queues/) (diperbarui 2026-11-16).

# Jadikan review manusia bagian dari workflow AI dokumen Anda

Oleh tim BroadNet Inference · 7 menit baca · Dipublikasikan 2026-11-15 · Diperbarui 2026-11-16

Anggap setiap dokumen hasil ekstraksi belum disetujui sampai lolos semua aturan. Kirim ke manusia jika field wajib kosong, jumlah tidak cocok, tanggal atau vendor tampak salah, atau model tidak yakin. Review juga sebagian kecil dokumen bersih yang dipilih acak, catat setiap koreksi di sistem Anda sendiri, dan pantau tingkat review serta tingkat error hasil audit.

## Poin penting

-   Aturan validasi menentukan apa yang dilihat manusia. Confidence yang dinyatakan model hanya satu sinyal tambahan, dan riset yang sudah terbit menemukan LLM terlalu percaya diri saat menyatakannya.
-   Setiap dokumen dalam antrean harus membawa alasan yang bisa dibaca mesin, seperti arithmetic atau vendor:unknown, agar reviewer tahu harus melihat ke mana dan Anda tahu aturan mana yang perlu diperbaiki.
-   Audit sampel acak dari dokumen yang disetujui otomatis. Nol error pada 50 dokumen yang diaudit masih memungkinkan tingkat error sebenarnya hingga sekitar 7% (interval Wilson 95%).
-   Simpan jejak audit sendiri: hash gambar, ID model, versi prompt, output, aturan yang terpicu, dan koreksi reviewer. API zero data retention tidak menyimpan salinan kontennya.
-   Pantau tiga angka setiap minggu: tingkat review, alasan review teratas, dan tingkat error hasil audit dari dokumen yang disetujui otomatis.

**Di halaman ini**

1.  Apa yang seharusnya menentukan apakah dokumen direview manusia?
2.  Haruskah Anda memercayai confidence model?
3.  Bagaimana merutekan dokumen ke antrean?
4.  Apa yang berubah untuk faktur bahasa Arab dan Inggris?
5.  Apa yang perlu dilihat reviewer?
6.  Mengapa mengambil sampel dokumen yang lolos semua aturan?
7.  Bagaimana menyimpan jejak audit?
8.  Bagaimana mengukur tingkat review?
9.  Posisi BroadNet Inference

Vision model bisa membaca faktur, tetapi juga bisa salah membaca satu digit, melewatkan satu baris, atau mengarang field yang tidak ada. Solusinya bukan sekadar prompt yang lebih baik. Solusinya adalah tahap review yang dirancang sejak hari pertama: aturan yang menentukan dokumen mana yang dilihat manusia, antrean yang memberi tahu alasannya, dan log yang memungkinkan Anda membuktikan tingkat error.

Artikel ini membahas tahap tersebut. Ekstraksinya sendiri (penyiapan gambar, prompt JSON, validasi skema, dan retry) ada di [ekstraksi data dari dokumen dengan vision LLM](https://broadrouter.com/id/blog/extract-data-from-documents-with-vision-llm/), dan pembacaan khusus bahasa Arab ada di [membaca faktur berbahasa Arab dengan vision](https://broadrouter.com/id/guides/read-arabic-invoices-with-vision/). Di sini kami berasumsi Anda sudah menerima JSON dan perlu memutuskan mana yang bisa dipercaya.

## Apa yang seharusnya menentukan apakah dokumen direview manusia?

Aturan yang bisa Anda uji di kode, bukan firasat tentang model. Mulailah dengan aturan berikut, diurutkan menurut nilainya:

| Aturan | Contoh kode alasan | Mengapa penting |
| --- | --- | --- |
| Field wajib kosong | `missing:total` | Null itu jujur; nilai tebakan lebih buruk |
| Jumlah tidak cocok | `arithmetic:subtotal+tax!=total` | Satu digit yang salah baca hampir selalu merusak penjumlahan |
| Item baris tidak sesuai jumlahnya | `arithmetic:lines!=subtotal` | Menangkap baris yang terlewat atau terduplikasi |
| Tanggal tidak bisa di-parse atau di luar rentang | `date:unparsed` | Menangkap tertukarnya hari/bulan dan noise OCR |
| ID pajak vendor tak dikenal | `vendor:unknown` | Pemasok baru maupun penipuan berawal di sini |
| Mata uang tak terduga | `currency:unexpected` | Simbol yang salah baca mengubah jumlah |
| Model menyatakan tidak yakin | `model:not_confident` | Petunjuk, bukan satu-satunya gerbang |

Dua keputusan desain membuat antrean ini bisa dipakai. Pertama, setiap aturan menghasilkan kode alasan yang pendek dan stabil, sehingga reviewer membuka dokumen dengan sudah tahu apa yang harus dicek, dan Anda bisa menghitung aturan mana yang paling sering terpicu. Kedua, dokumen hanya punya dua kemungkinan: lolos semua aturan atau masuk ke manusia. Hindari skor berbobot yang tidak bisa dijelaskan siapa pun kepada auditor.

## Haruskah Anda memercayai confidence model?

Anggap itu sinyal yang lemah. Anda bisa meminta model menilai setiap field dengan confidence high, medium, atau low, dan model akan melakukannya. Namun Xiong dkk. (ICLR 2024) membandingkan berbagai cara membuat LLM menyatakan confidence dan menemukan bahwa model “tend to be overconfident” (Terjemahan BroadRouter: cenderung terlalu percaya diri) saat menyatakan seberapa yakin mereka; prompting dan sampling yang lebih baik membantu, dan tidak ada metode yang konsisten mengungguli yang lain. Log-probabilitas token adalah opsi lain di sebagian API. Referensi API BroadNet tidak mendokumentasikan `logprobs`, jadi jangan merancang sistem yang bergantung padanya di sana.

Aturan praktisnya: apa pun di bawah “high” dari model, atau tanpa penilaian sama sekali, mengirim dokumen ke review, tetapi “high” tidak pernah melewati pengecekan kode. Setelah beberapa ratus dokumen direview, cek apakah field “high” benar-benar lebih jarang dikoreksi. Jika tidak, buang sinyal itu.

## Bagaimana merutekan dokumen ke antrean?

Router ini berjalan setelah ekstraksi dan validasi. Router menormalkan digit Arab-Indik, menerapkan aturan di atas, dan memilih satu dari tiga antrean: `review`, `audit_sample`, atau `auto`. Ini Python biasa tanpa panggilan API, jadi Anda bisa membuat unit test untuknya.

```python
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation

REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"}   # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05          # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")

def money(v):
    """'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
    if v is None:
        return None
    s = str(v).translate(DIGITS).replace(",", "").strip()
    try:
        return Decimal(s)
    except InvalidOperation:
        return None

def check(doc: dict, today: date) -> list[str]:
    """Return the reasons this document needs a person. Empty list = may auto-approve."""
    reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
    sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
    if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
        reasons.append("arithmetic:subtotal+tax!=total")
    lines = [money(l.get("amount")) for l in doc.get("lines", [])]
    if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
        reasons.append("arithmetic:lines!=subtotal")
    try:
        d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
        if d > today or (today - d).days > 400:
            reasons.append("date:out_of_range")
    except ValueError:
        reasons.append("date:unparsed")
    if doc.get("currency") and doc["currency"] not in CURRENCIES:
        reasons.append("currency:unexpected")
    if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
        reasons.append("vendor:unknown")
    if doc.get("model_confidence", "low") != "high":   # a hint from the prompt, never the only gate
        reasons.append("model:not_confident")
    return reasons

def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
    reasons = check(doc, today)
    if reasons:
        queue = "review"
    elif rng() < AUTO_SAMPLE_RATE:
        queue, reasons = "audit_sample", ["sample:random"]
    else:
        queue = "auto"
    return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
            "reasons": reasons, "ts": int(time.time())}
```

Kami mengujinya pada tiga faktur Saudi rekaan (vendor dan ID pajaknya fiktif). Faktur bersih, dengan tanggal dan subtotal ditulis dalam digit Arab-Indik (٢٠٢٦-١١-٠٢ dan ١٬٠٠٠٫٠٠), masuk ke `auto`. Faktur yang sama dengan total salah dibaca sebagai 1,105.00 masuk ke `review` dengan `arithmetic:subtotal+tax!=total`. Faktur dengan ID pajak tak dikenal, bulan bernilai 13, dan confidence “medium” masuk ke `review` dengan tiga alasan: `date:unparsed`, `vendor:unknown`, dan `model:not_confident`. Memaksa undian acak di bawah 0,05 mengirim faktur bersih ke `audit_sample`.

Ada dua batasan yang perlu diketahui. Helper `money()` mengasumsikan pemisah desimal titik atau pemisah desimal Arab; format Eropa seperti “1.150,00” memerlukan parser tersendiri berdasarkan negara vendor. Aturan tanggal juga mengasumsikan model mengembalikan tanggal ISO. Tanggal Hijriah perlu dikonversi dulu, seperti di [ekstraksi entitas bernama bahasa Arab](https://broadrouter.com/id/blog/arabic-named-entity-extraction-llm/).

## Apa yang berubah untuk faktur bahasa Arab dan Inggris?

Faktur dwibahasa umum di kawasan Teluk: label bahasa Arab dan Inggris berdampingan, jumlah dalam digit Barat atau Arab-Indik, dan nama vendor dalam dua aksara. Beberapa aturan membantu:

-   **Normalkan digit sebelum pengecekan apa pun.** Petakan ٠–٩ dan digit Persia ۰–۹ ke 0–9, serta pemisah desimal dan ribuan Arab (٫ dan ٬) ke bentuk ASCII-nya. Baru bandingkan.
-   **Cocokkan vendor berdasarkan ID pajak, bukan nama.** Nama Arab dan Inggris jarang cocok persis karakter per karakter dengan master record Anda. Nomor registrasinya cocok.
-   **Simpan kedua nama untuk reviewer.** Tampilkan nama vendor Arab dan Inggris hasil ekstraksi di samping master record, dengan teks Arab dalam blok kanan-ke-kiri yang terisolasi. Artikel [desain produk multibahasa](https://broadrouter.com/id/blog/multilingual-product-design/) membahas tampilan bidi.
-   **Cek apakah tersedia faktur terstruktur.** ZATCA Arab Saudi menjalankan e-invoicing (Fatoorah) dalam dua fase, mulai 4 Desember 2021 dan 1 Januari 2023, yang dibangun di sekitar faktur dalam format elektronik terstruktur. Jika pemasok bisa mengirimkannya, parse file itu alih-alih membaca gambarnya, dan simpan vision untuk kertas, foto, dan sisa kasus yang jarang (long tail).

[OCR bahasa Arab dengan vision LLM](https://broadrouter.com/id/blog/arabic-ocr-vision-llm/) membahas sisi pembacaannya: harakat, aksara campuran, dan tata letak.

## Apa yang perlu dilihat reviewer?

Layar review yang baik menjawab satu pertanyaan per kode alasan. Untuk `arithmetic`, tampilkan item baris, subtotal, pajak, dan total berdampingan dengan hasil penjumlahan yang dihitung. Untuk `vendor:unknown`, tampilkan ID pajak hasil ekstraksi dan master record terdekat. Untuk `date:unparsed`, tampilkan teks tanggal mentah dan potongan gambar asal teks tersebut.

Tampilkan gambar di samping field, bukan di tab lain. Biarkan reviewer memperbaiki field, menyetujui, atau menolak dokumen sebagai tidak terbaca. Catat tindakan yang diambil. “Tidak terbaca” adalah data yang berguna: jika 10% dokumen dari satu pemasok tidak terbaca, mintalah PDF dari pemasok itu, bukan keajaiban dari model Anda.

## Mengapa mengambil sampel dokumen yang lolos semua aturan?

Karena aturan hanya menangkap error yang sudah terpikirkan. Jika model salah membaca satu item baris, subtotal, dan total dengan selisih yang sama (angka 7 yang buram terbaca 1 di ketiga tempat), semua penjumlahan tetap cocok dan tidak ada aturan yang terpicu. Satu-satunya cara menemukan error seperti itu adalah melihat dokumen yang tidak ditandai siapa pun.

Ambil sampel secara acak, bukan dipilih, dan catat berapa yang memerlukan koreksi. Sampel kecil memberi rentang yang lebar. Dengan interval Wilson 95%, yang dijelaskan handbook NIST untuk proporsi (mengutip rekomendasi Agresti dan Coull, serta Brown, Cai, dan DasGupta), kode metrik kami di bawah menghasilkan:

| Dokumen yang diaudit tanpa error ditemukan | Tingkat error sebenarnya masih bisa mencapai |
| --- | --- |
| 50 | sekitar 7,1% |
| 300 | sekitar 1,3% |

Jadi “kami mengaudit 50 dan tidak menemukan apa pun” tidak berarti tingkat error di bawah 1%. Perbesar sampel setelah setiap perubahan prompt, model, atau komposisi dokumen, lalu turunkan perlahan.

## Bagaimana menyimpan jejak audit?

Catat koreksi di sistem Anda sendiri. Setiap dokumen membutuhkan satu baris berisi:

-   hash SHA-256 dari file sumber (dan lokasi file itu disimpan, sesuai aturan retensi Anda);
-   ID model, versi prompt, dan JSON mentah yang dikembalikan model;
-   request ID dari provider (BroadNet mengembalikannya di header `X-Request-ID`) untuk keperluan support;
-   hasil aturan dan antreannya;
-   reviewer, waktu, tindakan, serta nilai sebelum dan sesudah untuk setiap field yang dikoreksi.

Hal ini makin penting dengan API zero data retention. Pernyataan privasi BroadNet menyebutkan gateway-nya tidak menyimpan prompt, gambar, respons, atau transkrip, dan hanya menyimpan catatan akun, penagihan, lalu lintas, dan keamanan yang tidak berisi konten. Itu bagus untuk faktur sensitif, tetapi berarti tidak ada seorang pun di pihak provider yang bisa menunjukkan apa yang dilihat atau dikatakan model bulan lalu. Log Anda adalah satu-satunya catatan. Jangan isi dengan apa pun yang tidak Anda perlukan; [logging pemakaian API LLM](https://broadrouter.com/id/blog/llm-api-usage-logging/) membahas apa yang perlu di-log dan apa yang perlu disamarkan.

## Bagaimana mengukur tingkat review?

Jalankan ini setiap minggu pada log routing yang sudah digabung dengan data koreksi:

```python
import math
from collections import Counter

def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
    """95% Wilson score interval for an error rate seen in a sample."""
    if n == 0:
        return (0.0, 1.0)
    p = errors / n
    centre = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return (max(0.0, centre - half), min(1.0, centre + half))

def report(log: list[dict]) -> dict:
    queues = Counter(r["queue"] for r in log)
    reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
    audited = [r for r in log if r["queue"] == "audit_sample"]
    wrong = sum(1 for r in audited if r.get("corrected_fields"))
    lo, hi = wilson(wrong, len(audited))
    return {"documents": len(log),
            "review_rate": round(queues["review"] / len(log), 3),
            "top_reasons": reasons.most_common(3),
            "audited": len(audited), "audited_with_errors": wrong,
            "auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
```

Pada satu minggu sintetis berisi 1.000 dokumen (760 auto, 190 review, 50 diaudit dengan 2 di antaranya memerlukan koreksi), kode ini melaporkan tingkat review 0,19, `vendor` sebagai alasan teratas dengan 120, dan tingkat error hasil audit antara 1,1% dan 13,5%. Rentang terakhir itulah jawaban jujur atas pertanyaan “seberapa akurat otomasinya?” pada ukuran sampel ini.

Baca ketiga angka bersama-sama:

-   **Tingkat review turun, error audit tetap:** ada aturan yang terlalu ketat, atau modelnya membaik. Bagus.
-   **Tingkat review turun, error audit naik:** ada aturan yang terlalu longgar. Perketat sebelum error masuk ke pembukuan Anda.
-   **Satu alasan mendominasi:** perbaiki penyebabnya. Jika `vendor:unknown` memimpin, perbarui master pemasok; jika `arithmetic` memimpin, periksa kualitas gambar atau coba model lain pada dokumen yang sama dengan metode di [mengevaluasi LLM sebelum beralih](https://broadrouter.com/id/blog/evaluate-llm-before-switching/).

## Posisi BroadNet Inference

BroadRouter adalah situs milik BroadNet sendiri. Menurut [feed harganya](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-document-review-queues&utm_content=body), BroadNet Inference menawarkan tiga model chat yang menerima gambar: [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/) ($0.175 input / $2.17 output per 1 juta token, dengan output terstruktur yang terdokumentasi), [Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/) ($0.10 / $0.22, bisa dipakai dengan kredit awal $5), dan [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/) ($0.175 / $0.52). Dengan bayar sesuai pemakaian, gambar dihitung sebagai token input; [kalkulator token gambar](https://broadrouter.com/tools/image-token-calculator/) membantu memperkirakannya. Konten inferensi tidak disimpan; metadata akun, penagihan, dan keamanan yang diperlukan disimpan sebagaimana dijelaskan di [pernyataan privasi](https://www.broadnet.ai/inference-privacy) BroadNet. BroadNet tidak menyediakan antrean review atau log audit, jadi routing dan pencatatan di atas harus Anda bangun dan simpan sendiri.

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Named entity recognition (NER, pengenalan entitas bernama)](https://broadrouter.com/id/glossary/named-entity-recognition/)

Named entity recognition (NER) adalah tugas menemukan nama dalam teks dan memberi label jenis pada masing-masing, seperti orang, organisasi, atau lokasi. Sistem klasik memberi tag pada setiap token; LLM biasanya diminta mengembalikan daftar entitas dalam JSON, yang lalu dicek terhadap teks sumber.

[Optical character recognition (OCR)](https://broadrouter.com/id/glossary/ocr/)

Optical character recognition (OCR) adalah teknologi yang mendeteksi dan mengubah teks cetak atau tulisan tangan di dalam gambar, hasil scan, atau PDF menjadi karakter yang bisa dibaca mesin. OCR klasik menghasilkan teks dan posisinya di halaman; vision-language model bisa membaca teks dan langsung menjawab pertanyaan tentangnya.

[Zero data retention (ZDR)](https://broadrouter.com/id/glossary/zero-data-retention/)

Zero data retention (ZDR) adalah kebijakan penanganan data di mana penyedia AI memproses prompt dan output hanya untuk melayani permintaan dan tidak menyimpan konten itu sesudahnya, baik di log, cache, maupun data pelatihan. Catatan tanpa konten seperti jumlah token dan durasi biasanya tetap disimpan.

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Harakat bahasa Arab (tashkeel)](https://broadrouter.com/id/glossary/arabic-diacritics/)

Harakat bahasa Arab, atau tashkeel, adalah tanda kecil di atas atau di bawah huruf yang menunjukkan vokal pendek, konsonan ganda, dan ketiadaan vokal. Tanda ini opsional: sebagian besar teks Arab, termasuk berita, tidak memakainya, sehingga pembaca dan perangkat lunak menebak vokal dari konteks.

[Output terstruktur (structured output)](https://broadrouter.com/id/glossary/structured-output/)

Output terstruktur adalah fitur API LLM yang membatasi balasan model pada format yang ditentukan developer, biasanya JSON Schema, agar kode bisa mem-parse-nya dengan andal. Fitur ini lebih ketat daripada JSON mode, yang menjamin JSON valid tetapi tidak menjamin bentuk tertentu.

[Prompt engineering (rekayasa prompt)](https://broadrouter.com/id/glossary/prompt-engineering/)

Prompt engineering adalah proses menulis, menyusun, dan menguji instruksi yang diberikan ke model bahasa agar model konsisten menghasilkan output yang memenuhi kebutuhan Anda. Cakupannya meliputi pesan peran, instruksi yang jelas, contoh, format, dan pengukuran hasil terhadap kasus uji.

## Pertanyaan umum

### Dokumen apa yang perlu masuk review manusia dalam ekstraksi faktur?

Apa pun yang gagal di satu aturan: field wajib kosong, item baris atau pajak yang tidak cocok dengan total, tanggal yang tidak bisa di-parse atau di luar rentang, vendor tak dikenal, mata uang tak terduga, atau confidence model di bawah "high". Tambahkan sampel acak kecil dari dokumen yang lolos semua aturan.

### Bisakah saya memakai skor confidence model untuk melewati review?

Tidak jika berdiri sendiri. Riset tentang confidence yang dinyatakan model (Xiong dkk., ICLR 2024) menemukan LLM cenderung terlalu percaya diri. Pakai sebagai satu sinyal di samping pengecekan kode, dan cek dengan data berlabel Anda apakah "high" benar-benar berarti lebih sedikit error.

### Berapa banyak dokumen yang disetujui otomatis yang perlu diaudit?

Cukup untuk membatasi tingkat error yang penting bagi Anda. Jika tidak ditemukan error, 50 dokumen yang diaudit membatasi tingkat sebenarnya di sekitar 7% (batas atas Wilson 95%) dan 300 dokumen di sekitar 1,3%. Perbesar sampel saat aturan, prompt, atau model berubah.

### Berapa tingkat review yang baik?

Tidak ada angka universal. Mulai dari tinggi, lalu turunkan hanya selama tingkat error hasil audit dari dokumen yang disetujui otomatis tetap dalam toleransi Anda. Tingkat review yang turun disertai tingkat error audit yang naik berarti ada aturan yang terlalu longgar.

### Di mana jejak audit sebaiknya disimpan?

Di database Anda sendiri. Simpan hash file sumber, ID model, versi prompt, output mentah, hasil aturan, reviewer, dan nilai yang dikoreksi. Jika provider Anda tidak menyimpan konten permintaan, seperti yang dinyatakan BroadNet untuk API inferensinya, tidak ada pihak lain yang bisa merekonstruksinya nanti.

## Baca juga

-   [Ekstrak data faktur, struk, dan formulir ke JSON dengan vision LLM](https://broadrouter.com/id/blog/extract-data-from-documents-with-vision-llm/)
-   [OCR bahasa Arab vs vision LLM: membaca dokumen dan faktur Arab](https://broadrouter.com/id/blog/arabic-ocr-vision-llm/)
-   [JSON mode vs json\_schema: output terstruktur yang andal](https://broadrouter.com/id/blog/structured-output-json-schema/)
-   [Cara mengevaluasi LLM sebelum berpindah penyedia](https://broadrouter.com/id/blog/evaluate-llm-before-switching/)
-   [Logging pemakaian API LLM: biaya per pengguna dan fitur, tanpa PII](https://broadrouter.com/id/blog/llm-api-usage-logging/)
-   [Cara memperbaiki JSON tidak valid dari LLM: penyebab, perbaikan, retry](https://broadrouter.com/id/blog/fix-invalid-json-from-llm/)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Membaca faktur dan struk berbahasa Arab dengan model vision](https://broadrouter.com/id/guides/read-arabic-invoices-with-vision/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-document-review-queues&utm_content=page-cta) ·

**Sumber**

-   [Xiong dkk., Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs, ICLR 2024 (dicek 2026-11-15)](https://arxiv.org/abs/2306.13063)
-   [NIST/SEMATECH e-Handbook of Statistical Methods, 7.2.4: interval kepercayaan untuk proporsi, metode Wilson (dicek 2026-11-15)](https://www.itl.nist.gov/div898/handbook/prc/section2/prc241.htm)
-   [ZATCA, E-Invoicing (Fatoorah): Fase 1 mulai 4 Desember 2021, Fase 2 mulai 1 Januari 2023 (dicek 2026-11-15)](https://zatca.gov.sa/en/E-Invoicing/Pages/default.aspx)
-   [Referensi API BroadNet Inference: chat dengan gambar, output terstruktur, X-Request-ID, penanganan data (dicek 2026-11-15) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-document-review-queues&utm_content=sources)
-   [BroadNet Inference pricing.json: modalitas dan harga model (dicek 2026-11-15) (bahasa Inggris)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-document-review-queues&utm_content=sources)
-   [Pernyataan privasi dan retensi data BroadNet Inference (dicek 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference-privacy)
