BroadRouter

Extracción de entidades nombradas en árabe con un LLM: JSON y fechas

Por el equipo de BroadNet Inference · 7 min de lectura · Publicado

Pida al modelo que copie cada entidad exactamente como aparece, con un tipo de una lista fija, en JSON. Verifique cada entidad en código: debe aparecer en el original tras quitar los diacríticos y unificar las formas del alef. Convierta las fechas hégira con una biblioteca como hijridate, no con el modelo. Evalúe una muestra etiquetada a mano con precisión, exhaustividad y F1 por entidad.

La extracción de entidades nombradas convierte un párrafo en registros que su código puede usar: quién, qué organización, dónde y cuándo. El árabe añade cuatro problemas que los pipelines en inglés rara vez encuentran: diacríticos opcionales, varias grafías de la misma letra, nombres escritos en letras latinas (arabizi) y fechas en dos calendarios. Este artículo construye un paso de extracción sobre un LLM compatible con OpenAI que resuelve cada uno en código, y un script de evaluación que le dirá si funciona con su texto.

Para clasificar mensajes completos en lugar de extraer fragmentos, vea clasificación de textos en árabe. Para las opciones de solicitud de JSON, vea modo JSON frente a json_schema.

¿Qué tan bien hacen los LLM el NER en árabe?

La medición pública más relevante que encontramos es LAraBench (Abdelali et al., EACL 2024), que ejecutó GPT-3.5 y GPT-4 sobre conjuntos de NER en árabe como etiquetado token a token. Macro-F1, cuanto más alto, mejor:

Conjunto de datos GPT-3.5 sin ejemplos GPT-4 sin ejemplos GPT-4 con 3 ejemplos Sistema ajustado citado
ANERcorp (noticias) 0.210 0.355 0.420 0.886
AQMAR (Wikipedia) 0.230 0.365 0.390 0.690
QASR (transcripciones) 0.208 0.504 n/d 0.698

Más ejemplos ayudaron: GPT-4 en ANERcorp pasó de 0.355 sin ejemplos a 0.451 con diez. Los autores también tuvieron que reasignar etiquetas que el modelo escribía en su propio formato, como PER-B en lugar de B-PER.

Interprételo con cuidado. Son modelos de 2023 haciendo una tarea de etiquetado estricta sobre conjuntos de etiquetas de benchmark. Un modelo actual al que se le pide una lista breve de personas y empresas en un ticket de soporte puede hacerlo mucho mejor, o no. La tabla le dice dos cosas que siguen vigentes: un LLM no es automáticamente un buen sistema de NER, y usted necesita su propia medición.

¿Qué conjuntos de NER en árabe existen?

Conjunto de datos Texto Tamaño y etiquetas
ANERcorp Noticias Unos 150,000 tokens; persona, lugar, organización, miscelánea. CAMeL Lab publica una partición estándar de entrenamiento y prueba
CLEANANERCorp ANERcorp corregido Corrige errores de anotación, etiquetas faltantes e inconsistencias del original
AQMAR Wikipedia en árabe 74,000 tokens de 28 artículos
Wojood Árabe estándar y dialecto Unos 550,000 tokens, 21 tipos de entidad, anidados; usado en la tarea compartida WojoodNER 2023
CANERCorpus Hadices en árabe clásico Más de 7,000 hadices, 20 tipos sobre temas islámicos

Úselos para comprobar que un prompt tiene sentido, no como prueba de aceptación. Sus tipos de entidad (cliente, producto, sucursal, número de contrato) serán distintos de los de ellos, y sus licencias también difieren. Revise cada una antes de un uso comercial.

¿Qué debe pedir el prompt?

Tres reglas hacen que la salida sea verificable:

  1. Copiar el fragmento exacto. Sin traducción, sin transliteración, sin «completar» un nombre de pila hasta el nombre completo. Si necesita una grafía en inglés, pídala en un campo aparte y trátela como no verificada.
  2. Una lista cerrada de tipos. PERSON, ORG, LOCATION, DATE o su propio conjunto. Los tipos libres no se pueden evaluar.
  3. Fechas por partes, no conversiones. Pida año, mes y día tal como están escritos, más el calendario. Una هـ final marca una fecha hégira; م marca la gregoriana.

Escriba las instrucciones en inglés o en árabe; ingeniería de prompts en árabe explica las ventajas de cada opción. Ponga la forma del JSON en el system prompt y manténgala idéntica entre solicitudes para que pueda almacenarse en caché.

¿Cómo se verifican las entidades contra el original?

El modelo puede devolver un nombre que el texto nunca menciona, o copiar bien un nombre pero sin sus diacríticos. Una simple búsqueda de subcadena no distingue ambos casos. Normalice primero ambos lados: quite tashkeel y tatweel, unifique las formas del alef y una عبد ال para que عبد الله coincida con عبدالله. Las reglas son las mismas que en normalización de texto árabe para búsqueda, aplicadas solo a la comparación. Conserve el fragmento original para mostrarlo.

import json, os, re
from hijridate import Hijri
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
 "dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""

DIACRITICS = re.compile(r"[ً-ٰٟـ]")   # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
    s = DIACRITICS.sub("", s)
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
    return " ".join(s.split())

def validate(source: str, data: dict) -> tuple[list, list]:
    """Keep entities that really occur in the source; report everything else."""
    src, kept, problems = norm(source), [], []
    for e in data.get("entities", []):
        if e.get("type") not in TYPES:
            problems.append(f"unknown type: {e}")
        elif norm(e.get("text", "")) not in src:
            problems.append(f"not in source: {e['text']}")
        else:
            kept.append(e)
    for d in data.get("dates", []):
        if d.get("calendar") == "hijri":
            try:
                d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
            except (ValueError, OverflowError) as err:
                problems.append(f"bad Hijri date {d['text']}: {err}")
    return kept, problems

def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
    r = client.chat.completions.create(
        model=model, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    data = json.loads(r.choices[0].message.content)
    data["entities"], data["problems"] = validate(text, data)
    return data

text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))

Lo ejecutamos contra un servidor simulado local (sin llamadas reales a la API) cuya respuesta predefinida añadía una persona inventada y una fecha imposible (mes 13). La salida conservó خالد بن سعيد (la respuesta omitió los diacríticos; la comparación normalizada lo encontró igualmente), شركة النخيل للتقنية y جدة. Convirtió ١٥ جمادى الآخرة ١٤٤٥هـ en 2023-12-28 y listó dos problemas: el nombre inventado como «not in source» y el mes 13, que lanzó «month must be in 1-12». Los nombres y la empresa son ficticios.

Notas sobre el código:

  • max_tokens=2000 deja margen para el razonamiento. La documentación de BroadNet indica que DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder y que ese razonamiento cuenta para max_tokens. Vea respuestas vacías de los modelos de razonamiento.
  • json.loads puede fallar. Envuélvalo y, si falla, reenvíe una vez con el error, como en el bucle de reparación. En GLM 5.3 y Qwen3.8 27B, que BroadNet documenta con salida estructurada, añada también un esquema en response_format. La validación se mantiene en ambos casos.
  • La comparación por subcadena es deliberadamente laxa. Confirma que el fragmento existe, no que el tipo sea correcto. Los tipos son lo que mide el paso de evaluación de más abajo.

¿Cómo se manejan las fechas hégira?

El texto árabe escribe las fechas de muchas formas: ١٥/٦/١٤٤٥هـ, ١٥ جمادى الآخرة ١٤٤٥ o una fecha gregoriana con nombres de mes que varían según la región (نوفمبر en Egipto y el Golfo, تشرين الثاني en el Levante). Un modelo suele poder separarlas en partes, y el código verifica las partes. Convertir entre calendarios es aritmética sobre una tabla publicada, y no hay motivo para que un modelo lo haga bien.

hijridate, antes hijri-converter, convierte usando el calendario Umm al-Qura. Su rango documentado va de 1343 a 1500 AH (del 1 de agosto de 1924 al 16 de noviembre de 2077 d. C.). Fuera de rango lanza OverflowError; un mes o día no válido lanza ValueError, por eso el código captura ambos. Su documentación dice que no está pensada para fines religiosos en los que se prefiere el avistamiento de la luna creciente, así que una fecha fijada por avistamiento puede diferir del valor convertido. Guarde la fecha tal como está escrita junto a la convertida.

Los dígitos arábigo-orientales no necesitan tratamiento especial aquí: el modelo devuelve enteros. Si analiza fechas por su cuenta, convierta primero ٠١٢٣٤٥٦٧٨٩ (y los persas ۰–۹) a 0–9.

¿Y los nombres en arabizi y el texto mixto?

Los mensajes de clientes a menudo escriben los nombres en letras latinas: “ana 7a2ool la Mo7ammad bokra”. La regla del fragmento exacto sigue funcionando: el texto de la entidad es “Mo7ammad” y la verificación de subcadena pasa. Lo que falla es vincular ese registro con محمد en su CRM. Hágalo en un segundo paso: convierta el fragmento a escritura árabe, como en cómo manejar el arabizi, y compárelo con sus registros usando la misma normalización. Mantenga un indicador de confianza en todo registro que haya pasado por una conversión.

Lo mismo aplica a los nombres de empresas en inglés dentro de frases en árabe, y a las grafías latinas de nombres árabes (Mohammed, Muhammad, Mohamed). No pida al paso de extracción que elija una grafía.

¿Cómo se evalúa el extractor?

Etiquete a mano de 100 a 200 muestras reales, con la misma lista de tipos. Después compare las predicciones con coincidencia exacta a nivel de entidad sobre el texto normalizado y el tipo, e informe precisión, exhaustividad y F1 por tipo:

from collections import Counter

def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
    """Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
    tp, fp, fn = Counter(), Counter(), Counter()
    for g, p in zip(gold, pred):
        G = Counter((norm(e["text"]), e["type"]) for e in g)
        P = Counter((norm(e["text"]), e["type"]) for e in p)
        for (t, ty), n in (G | P).items():
            hit = min(G[(t, ty)], P[(t, ty)])
            tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
    def prf(a, b, c):
        p = a / (a + b) if a + b else 0.0
        r = a / (a + c) if a + c else 0.0
        return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
    out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
    out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
    return out

En un conjunto de juguete de dos frases (tres entidades de referencia; la predicción tipificó جدة como ORG en vez de LOCATION y añadió un lugar de más), imprimió una precisión micro de 0.5, una exhaustividad de 0.667 y un F1 de 0.571, y un F1 de 0 para LOCATION. La vista por tipo le muestra dónde invertir esfuerzo: una puntuación baja en ORG suele significar que sus definiciones de tipo necesitan ejemplos, no un modelo más grande.

Decida de antemano qué cuenta como coincidencia. La coincidencia exacta es estricta: «شركة النخيل» frente a una referencia «شركة النخيل للتقنية» cuenta como un falso positivo y un falso negativo. Si para su uso son aceptables los fragmentos parciales, informe una segunda puntuación basada en solapamiento, pero mantenga la estricta como cifra principal.

¿Qué modelo de BroadNet conviene usar?

Todos los precios son por 1M de tokens, según la página de precios de BroadNet.

Modelo Por qué Entrada / salida
Qwen3.8 27B Salida estructurada documentada; según BroadNet, probado en árabe, incluida la comprensión de los dialectos del Golfo y egipcio; lee imágenes $0.175 / $2.17
GLM 5.3 Salida estructurada documentada; contexto de 1,048,576 tokens para documentos muy largos $0.78 / $3.46
Gemma 4 VL 26B Funciona con el crédito inicial de $5; sin salida estructurada documentada, así que valide el JSON obtenido solo con el prompt; contexto de 32,768 tokens $0.10 / $0.22

Ejecute el script de evaluación con su muestra y cada candidato, y elija según el F1 por tipo y el costo, no según la descripción del proveedor. El árabe suele requerir más tokens que el inglés para el mismo contenido; tokens por palabra en árabe recoge proporciones medidas. Para entidades dentro de formularios escaneados o fotos, extráigalas directamente de la imagen, como en leer facturas en árabe con visión.

Dónde encaja BroadNet Inference

BroadRouter es el sitio web de BroadNet. BroadNet Inference le da acceso compatible con OpenAI a los modelos anteriores con una sola clave, así que el código funciona con el SDK de OpenAI para Python tras cambiar la base URL. Su documentación indica que los prompts y las respuestas no se conservan tras la solicitud, lo que importa cuando el texto está lleno de nombres de personas. No tiene un endpoint dedicado de NER ni publica un benchmark propio de NER en árabe, así que mida con sus datos. Si necesita un etiquetador autoalojado para grandes volúmenes, un modelo ajustado con Wojood o con sus propias etiquetas puede ser más barato y consistente que cualquier LLM; la diferencia publicada arriba es el motivo para comprobarlo.

Preguntas frecuentes

¿Puede un LLM hacer reconocimiento de entidades nombradas en árabe?

Sí, con verificaciones. Los resultados publicados sin ejemplos en NER árabe a nivel de token quedan muy por detrás de los modelos ajustados, así que valide cada entidad contra el texto original y evalúe el modelo con una muestra etiquetada de sus propios datos antes de confiar en él.

¿Cómo comparo nombres árabes con y sin diacríticos?

Normalice ambos lados antes de comparar: quite el tashkeel (U+064B a U+065F), el alef daga y el tatweel, convierta إ أ آ ٱ en ا y ى en ي, y compacte los espacios. Conserve el texto original para mostrarlo; use la forma normalizada solo para comparar.

¿Cómo convierto una fecha hégira a gregoriana en Python?

Use hijridate (antes hijri-converter): Hijri(1445, 6, 15).to_gregorian() devuelve 2023-12-28. Sigue el calendario Umm al-Qura, admite de 1343 a 1500 AH y no está pensada para fechas religiosas fijadas por avistamiento lunar.

¿Con qué conjuntos de NER en árabe puedo hacer pruebas?

ANERcorp (noticias, unos 150,000 tokens, cuatro tipos), AQMAR (74,000 tokens de Wikipedia), Wojood (unos 550,000 tokens de árabe estándar y dialecto con 21 tipos anidados) y CANERCorpus (hadices en árabe clásico, 20 tipos). Revise cada licencia y asigne sus etiquetas a las suyas.

¿El modelo debe traducir o transliterar los nombres?

No en el paso de extracción. Pida el fragmento exacto del original para poder verificarlo. Añada un campo aparte para una grafía latina si la necesita, y trátela como no verificada.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity