Un modelo de visión puede leer una factura, pero también puede leer mal un dígito, saltarse una línea o inventar un campo que no existe. La solución no es solo un mejor prompt. Es un paso de revisión diseñado desde el primer día: reglas que deciden qué documentos ve una persona, una cola que le dice por qué y un registro que le permite demostrar la tasa de error.
Este artículo trata ese paso. La extracción en sí (preparación de imágenes, el prompt JSON, validación del esquema y reintentos) está en extraer datos de documentos con un LLM de visión, y la lectura específica del árabe en leer facturas en árabe con visión. Aquí suponemos que ya recibe JSON y necesita decidir en qué confiar.
¿Qué debe decidir si una persona revisa un documento?
Reglas que pueda probar en código, no una impresión sobre el modelo. Empiece por estas, ordenadas por su valor:
| Regla | Ejemplo de código de motivo | Por qué importa |
|---|---|---|
| Falta un campo obligatorio | missing:total |
Un null es honesto; un valor adivinado es peor |
| Las sumas no cuadran | arithmetic:subtotal+tax!=total |
Un solo dígito mal leído casi siempre rompe una suma |
| Las partidas no suman el subtotal | arithmetic:lines!=subtotal |
Detecta líneas omitidas o duplicadas |
| La fecha no se interpreta o está fuera de rango | date:unparsed |
Detecta inversiones de día y mes y ruido de OCR |
| ID fiscal del proveedor desconocido | vendor:unknown |
Los proveedores nuevos y el fraude empiezan aquí |
| Moneda inesperada | currency:unexpected |
Un símbolo mal leído cambia el importe |
| El modelo dice que no está seguro | model:not_confident |
Una pista, nunca el único filtro |
Dos decisiones de diseño hacen que la cola sea útil. Primera: cada regla produce un código de motivo corto y estable, de modo que el revisor abre el documento sabiendo qué comprobar y usted puede contar qué regla salta más. Segunda: un documento o pasa todas las reglas o va a una persona. Evite puntuaciones ponderadas que nadie sepa explicar a un auditor.
¿Debe confiar en la confianza del modelo?
Trátela como una señal débil. Puede pedirle al modelo que califique cada campo con confianza alta, media o baja, y lo hará. Pero Xiong et al. (ICLR 2024) compararon formas de hacer que los LLM declaren su confianza y encontraron que los modelos “tend to be overconfident” (Traducción: tienden a ser demasiado confiados) cuando dicen cuán seguros están; mejores prompts y el muestreo ayudaron, y ningún método superó de forma constante a los demás. Las log-probabilidades de los tokens son otra opción en algunas API. La referencia de la API de BroadNet no documenta logprobs, así que no base su diseño en ellas allí.
La regla práctica: cualquier calificación del modelo inferior a «high», o la ausencia de calificación, envía el documento a revisión, pero un «high» nunca se salta las comprobaciones en código. Tras unos cientos de documentos revisados, compruebe si los campos «high» de verdad necesitaron menos correcciones. Si no fue así, descarte la señal.
¿Cómo enrutar los documentos a una cola?
Este enrutador se ejecuta después de la extracción y la validación. Normaliza los dígitos arábigo-índicos, aplica las reglas anteriores y elige una de tres colas: review, audit_sample o auto. Es Python simple, sin llamadas a ninguna API, así que puede escribirle pruebas unitarias.
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation
REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"} # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05 # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")
def money(v):
"""'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
if v is None:
return None
s = str(v).translate(DIGITS).replace(",", "").strip()
try:
return Decimal(s)
except InvalidOperation:
return None
def check(doc: dict, today: date) -> list[str]:
"""Return the reasons this document needs a person. Empty list = may auto-approve."""
reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
reasons.append("arithmetic:subtotal+tax!=total")
lines = [money(l.get("amount")) for l in doc.get("lines", [])]
if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
reasons.append("arithmetic:lines!=subtotal")
try:
d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
if d > today or (today - d).days > 400:
reasons.append("date:out_of_range")
except ValueError:
reasons.append("date:unparsed")
if doc.get("currency") and doc["currency"] not in CURRENCIES:
reasons.append("currency:unexpected")
if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
reasons.append("vendor:unknown")
if doc.get("model_confidence", "low") != "high": # a hint from the prompt, never the only gate
reasons.append("model:not_confident")
return reasons
def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
reasons = check(doc, today)
if reasons:
queue = "review"
elif rng() < AUTO_SAMPLE_RATE:
queue, reasons = "audit_sample", ["sample:random"]
else:
queue = "auto"
return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
"reasons": reasons, "ts": int(time.time())}
Lo probamos con tres facturas saudíes inventadas (el proveedor y el ID fiscal son ficticios). Una limpia, con la fecha y el subtotal escritos en dígitos arábigo-índicos (٢٠٢٦-١١-٠٢ y ١٬٠٠٠٫٠٠), fue a auto. La misma factura con el total mal leído como 1,105.00 fue a review con arithmetic:subtotal+tax!=total. Una con un ID fiscal desconocido, un mes 13 y confianza «medium» fue a review con tres motivos: date:unparsed, vendor:unknown y model:not_confident. Forzar el sorteo aleatorio por debajo de 0.05 envió la factura limpia a audit_sample.
Dos límites que conviene conocer. La función auxiliar money() supone un punto o el separador decimal árabe como separador decimal; un “1.150,00” europeo necesita su propio analizador, elegido según el país del proveedor. Y la regla de fechas supone que el modelo devolvió fechas ISO. Las fechas hégira necesitan conversión previa, como en extracción de entidades nombradas en árabe.
¿Qué cambia con las facturas en árabe e inglés?
Las facturas bilingües son habituales en el Golfo: etiquetas en árabe e inglés lado a lado, importes en dígitos occidentales o arábigo-índicos y el nombre del proveedor en dos alfabetos. Algunas reglas ayudan:
- Normalice los dígitos antes de cualquier comprobación. Convierta ٠–٩ y los persas ۰–۹ a 0–9, y los separadores árabes decimal y de miles (٫ y ٬) a sus formas ASCII. Después compare.
- Identifique a los proveedores por su ID fiscal, no por el nombre. Los nombres en árabe e inglés rara vez coinciden carácter por carácter con su registro maestro. El número de registro sí.
- Muestre ambos nombres al revisor. Presente los nombres del proveedor extraídos en árabe e inglés junto al registro maestro, con el árabe en un bloque aislado de derecha a izquierda. El artículo sobre diseño de productos multilingües trata la visualización bidireccional.
- Compruebe si existe una factura estructurada. La ZATCA de Arabia Saudita aplica la facturación electrónica (Fatoorah) en dos fases, desde el 4 de diciembre de 2021 y el 1 de enero de 2023, basada en facturas en un formato electrónico estructurado. Si un proveedor puede enviárselo, procéselo en lugar de leer una imagen suya, y reserve la visión para el papel, las fotos y los casos minoritarios.
OCR en árabe con un LLM de visión cubre la parte de lectura: diacríticos, alfabetos mezclados y maquetación.
¿Qué debe ver el revisor?
Una buena pantalla de revisión responde una pregunta por cada código de motivo. Para arithmetic, muestre las partidas, el subtotal, el impuesto y el total lado a lado con la suma calculada. Para vendor:unknown, muestre el ID fiscal extraído y los registros maestros más parecidos. Para date:unparsed, muestre el texto original de la fecha y el recorte de la imagen de donde salió.
Muestre la imagen junto a los campos, no en otra pestaña. Permita al revisor corregir un campo, aprobar o rechazar el documento por ilegible. Registre qué acción tomó. «Ilegible» es un dato útil: si el 10 % de los documentos de un proveedor son ilegibles, pídale a ese proveedor archivos PDF, no un milagro a su modelo.
¿Por qué muestrear documentos que pasaron todas las reglas?
Porque las reglas solo detectan los errores que usted previó. Si un modelo lee mal una partida, el subtotal y el total en la misma cantidad (un 7 borroso leído como 1 en los tres sitios), todas las sumas siguen cuadrando y ninguna regla salta. La única forma de encontrar esos errores es mirar documentos que nadie marcó.
Muestree al azar, no a elección, y lleve la cuenta de cuántos necesitaron una corrección. Una muestra pequeña da un rango amplio. Con el intervalo de Wilson al 95 %, que el manual del NIST describe para proporciones (citando recomendaciones de Agresti y Coull, y de Brown, Cai y DasGupta), nuestro código de métricas de más abajo da:
| Documentos auditados sin ningún error encontrado | La tasa de error real todavía podría llegar a |
|---|---|
| 50 | un 7.1 % aproximadamente |
| 300 | un 1.3 % aproximadamente |
Así que «auditamos 50 y no encontramos nada» no significa que la tasa de error esté por debajo del 1 %. Aumente la muestra tras cualquier cambio en el prompt, el modelo o el tipo de documentos, y redúzcala despacio.
¿Cómo mantener un registro de auditoría?
Registre las correcciones en su propio sistema. Cada documento necesita una fila con:
- un hash SHA-256 del archivo original (y dónde se guarda el archivo, según sus reglas de retención);
- el ID del modelo, la versión del prompt y el JSON en bruto que devolvió el modelo;
- el ID de solicitud del proveedor (BroadNet lo devuelve en la cabecera
X-Request-ID) para consultas de soporte; - los resultados de las reglas y la cola;
- el revisor, la hora, la acción y el valor anterior y posterior de cada campo corregido.
Esto importa más con una API sin retención de datos. La declaración de privacidad de BroadNet dice que su gateway no conserva prompts, imágenes, respuestas ni transcripciones, y que solo guarda registros de cuenta, facturación, tráfico y seguridad sin contenido. Eso es bueno para facturas sensibles, pero significa que nadie en el proveedor podrá mostrarle lo que el modelo vio o dijo el mes pasado. Su registro es el único que existe. Manténgalo libre de lo que no necesite; registro del uso de la API de LLM explica qué registrar y qué ocultar.
¿Cómo medir la tasa de revisión?
Ejecute esto cada semana sobre el registro de enrutamiento, con las correcciones unidas:
import math
from collections import Counter
def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
"""95% Wilson score interval for an error rate seen in a sample."""
if n == 0:
return (0.0, 1.0)
p = errors / n
centre = (p + z * z / (2 * n)) / (1 + z * z / n)
half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
return (max(0.0, centre - half), min(1.0, centre + half))
def report(log: list[dict]) -> dict:
queues = Counter(r["queue"] for r in log)
reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
audited = [r for r in log if r["queue"] == "audit_sample"]
wrong = sum(1 for r in audited if r.get("corrected_fields"))
lo, hi = wilson(wrong, len(audited))
return {"documents": len(log),
"review_rate": round(queues["review"] / len(log), 3),
"top_reasons": reasons.most_common(3),
"audited": len(audited), "audited_with_errors": wrong,
"auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
En una semana sintética de 1,000 documentos (760 automáticos, 190 en revisión, 50 auditados de los cuales 2 necesitaron corrección), informó una tasa de revisión de 0.19, vendor como principal motivo con 120 y una tasa de error auditada entre el 1.1 % y el 13.5 %. Ese último rango es la respuesta honesta a «¿qué tan precisa es la automatización?» con este tamaño de muestra.
Lea los tres números juntos:
- La tasa de revisión baja y los errores auditados se mantienen: una regla era demasiado estricta o el modelo mejoró. Bien.
- La tasa de revisión baja y los errores auditados suben: una regla es demasiado laxa. Ajústela antes de que los errores lleguen a su contabilidad.
- Un motivo domina: corrija la causa. Si encabeza
vendor:unknown, actualice el maestro de proveedores; si encabezaarithmetic, revise la calidad de las imágenes o pruebe otro modelo con los mismos documentos usando el método de evaluar un LLM antes de cambiar.
Dónde encaja BroadNet Inference
BroadRouter es el sitio web de BroadNet. BroadNet Inference ofrece tres modelos de chat que aceptan imágenes, según su feed de precios: Qwen3.8 27B ($0.175 de entrada / $2.17 de salida por 1M de tokens, con salida estructurada documentada), Gemma 4 VL 26B ($0.10 / $0.22, utilizable con el crédito inicial de $5) y DeepSeek V4.1 Flash ($0.175 / $0.52). En pago por uso, las imágenes cuentan como tokens de entrada; la calculadora de tokens de imagen ayuda a estimarlos. El contenido de inferencia no se retiene; los metadatos necesarios de cuenta, facturación y seguridad se conservan como se describe en la declaración de privacidad de BroadNet. BroadNet no ofrece una cola de revisión ni un registro de auditoría, así que el enrutamiento y los registros descritos aquí los construye y conserva usted.
