BroadRouter
Mulai

Jadikan review manusia bagian dari workflow AI dokumen Anda

Oleh tim BroadNet Inference · 7 menit baca · Dipublikasikan · Diperbarui

Anggap setiap dokumen hasil ekstraksi belum disetujui sampai lolos semua aturan. Kirim ke manusia jika field wajib kosong, jumlah tidak cocok, tanggal atau vendor tampak salah, atau model tidak yakin. Review juga sebagian kecil dokumen bersih yang dipilih acak, catat setiap koreksi di sistem Anda sendiri, dan pantau tingkat review serta tingkat error hasil audit.

Vision model bisa membaca faktur, tetapi juga bisa salah membaca satu digit, melewatkan satu baris, atau mengarang field yang tidak ada. Solusinya bukan sekadar prompt yang lebih baik. Solusinya adalah tahap review yang dirancang sejak hari pertama: aturan yang menentukan dokumen mana yang dilihat manusia, antrean yang memberi tahu alasannya, dan log yang memungkinkan Anda membuktikan tingkat error.

Artikel ini membahas tahap tersebut. Ekstraksinya sendiri (penyiapan gambar, prompt JSON, validasi skema, dan retry) ada di ekstraksi data dari dokumen dengan vision LLM, dan pembacaan khusus bahasa Arab ada di membaca faktur berbahasa Arab dengan vision. Di sini kami berasumsi Anda sudah menerima JSON dan perlu memutuskan mana yang bisa dipercaya.

Apa yang seharusnya menentukan apakah dokumen direview manusia?

Aturan yang bisa Anda uji di kode, bukan firasat tentang model. Mulailah dengan aturan berikut, diurutkan menurut nilainya:

Aturan Contoh kode alasan Mengapa penting
Field wajib kosong missing:total Null itu jujur; nilai tebakan lebih buruk
Jumlah tidak cocok arithmetic:subtotal+tax!=total Satu digit yang salah baca hampir selalu merusak penjumlahan
Item baris tidak sesuai jumlahnya arithmetic:lines!=subtotal Menangkap baris yang terlewat atau terduplikasi
Tanggal tidak bisa di-parse atau di luar rentang date:unparsed Menangkap tertukarnya hari/bulan dan noise OCR
ID pajak vendor tak dikenal vendor:unknown Pemasok baru maupun penipuan berawal di sini
Mata uang tak terduga currency:unexpected Simbol yang salah baca mengubah jumlah
Model menyatakan tidak yakin model:not_confident Petunjuk, bukan satu-satunya gerbang

Dua keputusan desain membuat antrean ini bisa dipakai. Pertama, setiap aturan menghasilkan kode alasan yang pendek dan stabil, sehingga reviewer membuka dokumen dengan sudah tahu apa yang harus dicek, dan Anda bisa menghitung aturan mana yang paling sering terpicu. Kedua, dokumen hanya punya dua kemungkinan: lolos semua aturan atau masuk ke manusia. Hindari skor berbobot yang tidak bisa dijelaskan siapa pun kepada auditor.

Haruskah Anda memercayai confidence model?

Anggap itu sinyal yang lemah. Anda bisa meminta model menilai setiap field dengan confidence high, medium, atau low, dan model akan melakukannya. Namun Xiong dkk. (ICLR 2024) membandingkan berbagai cara membuat LLM menyatakan confidence dan menemukan bahwa model “tend to be overconfident” (Terjemahan BroadRouter: cenderung terlalu percaya diri) saat menyatakan seberapa yakin mereka; prompting dan sampling yang lebih baik membantu, dan tidak ada metode yang konsisten mengungguli yang lain. Log-probabilitas token adalah opsi lain di sebagian API. Referensi API BroadNet tidak mendokumentasikan logprobs, jadi jangan merancang sistem yang bergantung padanya di sana.

Aturan praktisnya: apa pun di bawah “high” dari model, atau tanpa penilaian sama sekali, mengirim dokumen ke review, tetapi “high” tidak pernah melewati pengecekan kode. Setelah beberapa ratus dokumen direview, cek apakah field “high” benar-benar lebih jarang dikoreksi. Jika tidak, buang sinyal itu.

Bagaimana merutekan dokumen ke antrean?

Router ini berjalan setelah ekstraksi dan validasi. Router menormalkan digit Arab-Indik, menerapkan aturan di atas, dan memilih satu dari tiga antrean: review, audit_sample, atau auto. Ini Python biasa tanpa panggilan API, jadi Anda bisa membuat unit test untuknya.

import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation

REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"}   # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05          # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")

def money(v):
    """'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
    if v is None:
        return None
    s = str(v).translate(DIGITS).replace(",", "").strip()
    try:
        return Decimal(s)
    except InvalidOperation:
        return None

def check(doc: dict, today: date) -> list[str]:
    """Return the reasons this document needs a person. Empty list = may auto-approve."""
    reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
    sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
    if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
        reasons.append("arithmetic:subtotal+tax!=total")
    lines = [money(l.get("amount")) for l in doc.get("lines", [])]
    if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
        reasons.append("arithmetic:lines!=subtotal")
    try:
        d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
        if d > today or (today - d).days > 400:
            reasons.append("date:out_of_range")
    except ValueError:
        reasons.append("date:unparsed")
    if doc.get("currency") and doc["currency"] not in CURRENCIES:
        reasons.append("currency:unexpected")
    if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
        reasons.append("vendor:unknown")
    if doc.get("model_confidence", "low") != "high":   # a hint from the prompt, never the only gate
        reasons.append("model:not_confident")
    return reasons

def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
    reasons = check(doc, today)
    if reasons:
        queue = "review"
    elif rng() < AUTO_SAMPLE_RATE:
        queue, reasons = "audit_sample", ["sample:random"]
    else:
        queue = "auto"
    return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
            "reasons": reasons, "ts": int(time.time())}

Kami mengujinya pada tiga faktur Saudi rekaan (vendor dan ID pajaknya fiktif). Faktur bersih, dengan tanggal dan subtotal ditulis dalam digit Arab-Indik (٢٠٢٦-١١-٠٢ dan ١٬٠٠٠٫٠٠), masuk ke auto. Faktur yang sama dengan total salah dibaca sebagai 1,105.00 masuk ke review dengan arithmetic:subtotal+tax!=total. Faktur dengan ID pajak tak dikenal, bulan bernilai 13, dan confidence “medium” masuk ke review dengan tiga alasan: date:unparsed, vendor:unknown, dan model:not_confident. Memaksa undian acak di bawah 0,05 mengirim faktur bersih ke audit_sample.

Ada dua batasan yang perlu diketahui. Helper money() mengasumsikan pemisah desimal titik atau pemisah desimal Arab; format Eropa seperti “1.150,00” memerlukan parser tersendiri berdasarkan negara vendor. Aturan tanggal juga mengasumsikan model mengembalikan tanggal ISO. Tanggal Hijriah perlu dikonversi dulu, seperti di ekstraksi entitas bernama bahasa Arab.

Apa yang berubah untuk faktur bahasa Arab dan Inggris?

Faktur dwibahasa umum di kawasan Teluk: label bahasa Arab dan Inggris berdampingan, jumlah dalam digit Barat atau Arab-Indik, dan nama vendor dalam dua aksara. Beberapa aturan membantu:

  • Normalkan digit sebelum pengecekan apa pun. Petakan ٠–٩ dan digit Persia ۰–۹ ke 0–9, serta pemisah desimal dan ribuan Arab (٫ dan ٬) ke bentuk ASCII-nya. Baru bandingkan.
  • Cocokkan vendor berdasarkan ID pajak, bukan nama. Nama Arab dan Inggris jarang cocok persis karakter per karakter dengan master record Anda. Nomor registrasinya cocok.
  • Simpan kedua nama untuk reviewer. Tampilkan nama vendor Arab dan Inggris hasil ekstraksi di samping master record, dengan teks Arab dalam blok kanan-ke-kiri yang terisolasi. Artikel desain produk multibahasa membahas tampilan bidi.
  • Cek apakah tersedia faktur terstruktur. ZATCA Arab Saudi menjalankan e-invoicing (Fatoorah) dalam dua fase, mulai 4 Desember 2021 dan 1 Januari 2023, yang dibangun di sekitar faktur dalam format elektronik terstruktur. Jika pemasok bisa mengirimkannya, parse file itu alih-alih membaca gambarnya, dan simpan vision untuk kertas, foto, dan sisa kasus yang jarang (long tail).

OCR bahasa Arab dengan vision LLM membahas sisi pembacaannya: harakat, aksara campuran, dan tata letak.

Apa yang perlu dilihat reviewer?

Layar review yang baik menjawab satu pertanyaan per kode alasan. Untuk arithmetic, tampilkan item baris, subtotal, pajak, dan total berdampingan dengan hasil penjumlahan yang dihitung. Untuk vendor:unknown, tampilkan ID pajak hasil ekstraksi dan master record terdekat. Untuk date:unparsed, tampilkan teks tanggal mentah dan potongan gambar asal teks tersebut.

Tampilkan gambar di samping field, bukan di tab lain. Biarkan reviewer memperbaiki field, menyetujui, atau menolak dokumen sebagai tidak terbaca. Catat tindakan yang diambil. “Tidak terbaca” adalah data yang berguna: jika 10% dokumen dari satu pemasok tidak terbaca, mintalah PDF dari pemasok itu, bukan keajaiban dari model Anda.

Mengapa mengambil sampel dokumen yang lolos semua aturan?

Karena aturan hanya menangkap error yang sudah terpikirkan. Jika model salah membaca satu item baris, subtotal, dan total dengan selisih yang sama (angka 7 yang buram terbaca 1 di ketiga tempat), semua penjumlahan tetap cocok dan tidak ada aturan yang terpicu. Satu-satunya cara menemukan error seperti itu adalah melihat dokumen yang tidak ditandai siapa pun.

Ambil sampel secara acak, bukan dipilih, dan catat berapa yang memerlukan koreksi. Sampel kecil memberi rentang yang lebar. Dengan interval Wilson 95%, yang dijelaskan handbook NIST untuk proporsi (mengutip rekomendasi Agresti dan Coull, serta Brown, Cai, dan DasGupta), kode metrik kami di bawah menghasilkan:

Dokumen yang diaudit tanpa error ditemukan Tingkat error sebenarnya masih bisa mencapai
50 sekitar 7,1%
300 sekitar 1,3%

Jadi “kami mengaudit 50 dan tidak menemukan apa pun” tidak berarti tingkat error di bawah 1%. Perbesar sampel setelah setiap perubahan prompt, model, atau komposisi dokumen, lalu turunkan perlahan.

Bagaimana menyimpan jejak audit?

Catat koreksi di sistem Anda sendiri. Setiap dokumen membutuhkan satu baris berisi:

  • hash SHA-256 dari file sumber (dan lokasi file itu disimpan, sesuai aturan retensi Anda);
  • ID model, versi prompt, dan JSON mentah yang dikembalikan model;
  • request ID dari provider (BroadNet mengembalikannya di header X-Request-ID) untuk keperluan support;
  • hasil aturan dan antreannya;
  • reviewer, waktu, tindakan, serta nilai sebelum dan sesudah untuk setiap field yang dikoreksi.

Hal ini makin penting dengan API zero data retention. Pernyataan privasi BroadNet menyebutkan gateway-nya tidak menyimpan prompt, gambar, respons, atau transkrip, dan hanya menyimpan catatan akun, penagihan, lalu lintas, dan keamanan yang tidak berisi konten. Itu bagus untuk faktur sensitif, tetapi berarti tidak ada seorang pun di pihak provider yang bisa menunjukkan apa yang dilihat atau dikatakan model bulan lalu. Log Anda adalah satu-satunya catatan. Jangan isi dengan apa pun yang tidak Anda perlukan; logging pemakaian API LLM membahas apa yang perlu di-log dan apa yang perlu disamarkan.

Bagaimana mengukur tingkat review?

Jalankan ini setiap minggu pada log routing yang sudah digabung dengan data koreksi:

import math
from collections import Counter

def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
    """95% Wilson score interval for an error rate seen in a sample."""
    if n == 0:
        return (0.0, 1.0)
    p = errors / n
    centre = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return (max(0.0, centre - half), min(1.0, centre + half))

def report(log: list[dict]) -> dict:
    queues = Counter(r["queue"] for r in log)
    reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
    audited = [r for r in log if r["queue"] == "audit_sample"]
    wrong = sum(1 for r in audited if r.get("corrected_fields"))
    lo, hi = wilson(wrong, len(audited))
    return {"documents": len(log),
            "review_rate": round(queues["review"] / len(log), 3),
            "top_reasons": reasons.most_common(3),
            "audited": len(audited), "audited_with_errors": wrong,
            "auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}

Pada satu minggu sintetis berisi 1.000 dokumen (760 auto, 190 review, 50 diaudit dengan 2 di antaranya memerlukan koreksi), kode ini melaporkan tingkat review 0,19, vendor sebagai alasan teratas dengan 120, dan tingkat error hasil audit antara 1,1% dan 13,5%. Rentang terakhir itulah jawaban jujur atas pertanyaan “seberapa akurat otomasinya?” pada ukuran sampel ini.

Baca ketiga angka bersama-sama:

  • Tingkat review turun, error audit tetap: ada aturan yang terlalu ketat, atau modelnya membaik. Bagus.
  • Tingkat review turun, error audit naik: ada aturan yang terlalu longgar. Perketat sebelum error masuk ke pembukuan Anda.
  • Satu alasan mendominasi: perbaiki penyebabnya. Jika vendor:unknown memimpin, perbarui master pemasok; jika arithmetic memimpin, periksa kualitas gambar atau coba model lain pada dokumen yang sama dengan metode di mengevaluasi LLM sebelum beralih.

Posisi BroadNet Inference

BroadRouter adalah situs milik BroadNet sendiri. Menurut feed harganya, BroadNet Inference menawarkan tiga model chat yang menerima gambar: Qwen3.8 27B ($0.175 input / $2.17 output per 1 juta token, dengan output terstruktur yang terdokumentasi), Gemma 4 VL 26B ($0.10 / $0.22, bisa dipakai dengan kredit awal $5), dan DeepSeek V4.1 Flash ($0.175 / $0.52). Dengan bayar sesuai pemakaian, gambar dihitung sebagai token input; kalkulator token gambar membantu memperkirakannya. Konten inferensi tidak disimpan; metadata akun, penagihan, dan keamanan yang diperlukan disimpan sebagaimana dijelaskan di pernyataan privasi BroadNet. BroadNet tidak menyediakan antrean review atau log audit, jadi routing dan pencatatan di atas harus Anda bangun dan simpan sendiri.

Pertanyaan umum

Dokumen apa yang perlu masuk review manusia dalam ekstraksi faktur?

Apa pun yang gagal di satu aturan: field wajib kosong, item baris atau pajak yang tidak cocok dengan total, tanggal yang tidak bisa di-parse atau di luar rentang, vendor tak dikenal, mata uang tak terduga, atau confidence model di bawah "high". Tambahkan sampel acak kecil dari dokumen yang lolos semua aturan.

Bisakah saya memakai skor confidence model untuk melewati review?

Tidak jika berdiri sendiri. Riset tentang confidence yang dinyatakan model (Xiong dkk., ICLR 2024) menemukan LLM cenderung terlalu percaya diri. Pakai sebagai satu sinyal di samping pengecekan kode, dan cek dengan data berlabel Anda apakah "high" benar-benar berarti lebih sedikit error.

Berapa banyak dokumen yang disetujui otomatis yang perlu diaudit?

Cukup untuk membatasi tingkat error yang penting bagi Anda. Jika tidak ditemukan error, 50 dokumen yang diaudit membatasi tingkat sebenarnya di sekitar 7% (batas atas Wilson 95%) dan 300 dokumen di sekitar 1,3%. Perbesar sampel saat aturan, prompt, atau model berubah.

Berapa tingkat review yang baik?

Tidak ada angka universal. Mulai dari tinggi, lalu turunkan hanya selama tingkat error hasil audit dari dokumen yang disetujui otomatis tetap dalam toleransi Anda. Tingkat review yang turun disertai tingkat error audit yang naik berarti ada aturan yang terlalu longgar.

Di mana jejak audit sebaiknya disimpan?

Di database Anda sendiri. Simpan hash file sumber, ID model, versi prompt, output mentah, hasil aturan, reviewer, dan nilai yang dikoreksi. Jika provider Anda tidak menyimpan konten permintaan, seperti yang dinyatakan BroadNet untuk API inferensinya, tidak ada pihak lain yang bisa merekonstruksinya nanti.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity