La extracción de entidades nombradas convierte un párrafo en registros que su código puede usar: quién, qué organización, dónde y cuándo. El árabe añade cuatro problemas que los pipelines en inglés rara vez encuentran: diacríticos opcionales, varias grafías de la misma letra, nombres escritos en letras latinas (arabizi) y fechas en dos calendarios. Este artículo construye un paso de extracción sobre un LLM compatible con OpenAI que resuelve cada uno en código, y un script de evaluación que le dirá si funciona con su texto.
Para clasificar mensajes completos en lugar de extraer fragmentos, vea clasificación de textos en árabe. Para las opciones de solicitud de JSON, vea modo JSON frente a json_schema.
¿Qué tan bien hacen los LLM el NER en árabe?
La medición pública más relevante que encontramos es LAraBench (Abdelali et al., EACL 2024), que ejecutó GPT-3.5 y GPT-4 sobre conjuntos de NER en árabe como etiquetado token a token. Macro-F1, cuanto más alto, mejor:
| Conjunto de datos | GPT-3.5 sin ejemplos | GPT-4 sin ejemplos | GPT-4 con 3 ejemplos | Sistema ajustado citado |
|---|---|---|---|---|
| ANERcorp (noticias) | 0.210 | 0.355 | 0.420 | 0.886 |
| AQMAR (Wikipedia) | 0.230 | 0.365 | 0.390 | 0.690 |
| QASR (transcripciones) | 0.208 | 0.504 | n/d | 0.698 |
Más ejemplos ayudaron: GPT-4 en ANERcorp pasó de 0.355 sin ejemplos a 0.451 con diez. Los autores también tuvieron que reasignar etiquetas que el modelo escribía en su propio formato, como PER-B en lugar de B-PER.
Interprételo con cuidado. Son modelos de 2023 haciendo una tarea de etiquetado estricta sobre conjuntos de etiquetas de benchmark. Un modelo actual al que se le pide una lista breve de personas y empresas en un ticket de soporte puede hacerlo mucho mejor, o no. La tabla le dice dos cosas que siguen vigentes: un LLM no es automáticamente un buen sistema de NER, y usted necesita su propia medición.
¿Qué conjuntos de NER en árabe existen?
| Conjunto de datos | Texto | Tamaño y etiquetas |
|---|---|---|
| ANERcorp | Noticias | Unos 150,000 tokens; persona, lugar, organización, miscelánea. CAMeL Lab publica una partición estándar de entrenamiento y prueba |
| CLEANANERCorp | ANERcorp corregido | Corrige errores de anotación, etiquetas faltantes e inconsistencias del original |
| AQMAR | Wikipedia en árabe | 74,000 tokens de 28 artículos |
| Wojood | Árabe estándar y dialecto | Unos 550,000 tokens, 21 tipos de entidad, anidados; usado en la tarea compartida WojoodNER 2023 |
| CANERCorpus | Hadices en árabe clásico | Más de 7,000 hadices, 20 tipos sobre temas islámicos |
Úselos para comprobar que un prompt tiene sentido, no como prueba de aceptación. Sus tipos de entidad (cliente, producto, sucursal, número de contrato) serán distintos de los de ellos, y sus licencias también difieren. Revise cada una antes de un uso comercial.
¿Qué debe pedir el prompt?
Tres reglas hacen que la salida sea verificable:
- Copiar el fragmento exacto. Sin traducción, sin transliteración, sin «completar» un nombre de pila hasta el nombre completo. Si necesita una grafía en inglés, pídala en un campo aparte y trátela como no verificada.
- Una lista cerrada de tipos. PERSON, ORG, LOCATION, DATE o su propio conjunto. Los tipos libres no se pueden evaluar.
- Fechas por partes, no conversiones. Pida año, mes y día tal como están escritos, más el calendario. Una هـ final marca una fecha hégira; م marca la gregoriana.
Escriba las instrucciones en inglés o en árabe; ingeniería de prompts en árabe explica las ventajas de cada opción. Ponga la forma del JSON en el system prompt y manténgala idéntica entre solicitudes para que pueda almacenarse en caché.
¿Cómo se verifican las entidades contra el original?
El modelo puede devolver un nombre que el texto nunca menciona, o copiar bien un nombre pero sin sus diacríticos. Una simple búsqueda de subcadena no distingue ambos casos. Normalice primero ambos lados: quite tashkeel y tatweel, unifique las formas del alef y una عبد ال para que عبد الله coincida con عبدالله. Las reglas son las mismas que en normalización de texto árabe para búsqueda, aplicadas solo a la comparación. Conserve el fragmento original para mostrarlo.
import json, os, re
from hijridate import Hijri
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
"dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""
DIACRITICS = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
s = DIACRITICS.sub("", s)
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
return " ".join(s.split())
def validate(source: str, data: dict) -> tuple[list, list]:
"""Keep entities that really occur in the source; report everything else."""
src, kept, problems = norm(source), [], []
for e in data.get("entities", []):
if e.get("type") not in TYPES:
problems.append(f"unknown type: {e}")
elif norm(e.get("text", "")) not in src:
problems.append(f"not in source: {e['text']}")
else:
kept.append(e)
for d in data.get("dates", []):
if d.get("calendar") == "hijri":
try:
d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
except (ValueError, OverflowError) as err:
problems.append(f"bad Hijri date {d['text']}: {err}")
return kept, problems
def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
r = client.chat.completions.create(
model=model, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
data = json.loads(r.choices[0].message.content)
data["entities"], data["problems"] = validate(text, data)
return data
text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))
Lo ejecutamos contra un servidor simulado local (sin llamadas reales a la API) cuya respuesta predefinida añadía una persona inventada y una fecha imposible (mes 13). La salida conservó خالد بن سعيد (la respuesta omitió los diacríticos; la comparación normalizada lo encontró igualmente), شركة النخيل للتقنية y جدة. Convirtió ١٥ جمادى الآخرة ١٤٤٥هـ en 2023-12-28 y listó dos problemas: el nombre inventado como «not in source» y el mes 13, que lanzó «month must be in 1-12». Los nombres y la empresa son ficticios.
Notas sobre el código:
max_tokens=2000deja margen para el razonamiento. La documentación de BroadNet indica que DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder y que ese razonamiento cuenta paramax_tokens. Vea respuestas vacías de los modelos de razonamiento.json.loadspuede fallar. Envuélvalo y, si falla, reenvíe una vez con el error, como en el bucle de reparación. En GLM 5.3 y Qwen3.8 27B, que BroadNet documenta con salida estructurada, añada también un esquema enresponse_format. La validación se mantiene en ambos casos.- La comparación por subcadena es deliberadamente laxa. Confirma que el fragmento existe, no que el tipo sea correcto. Los tipos son lo que mide el paso de evaluación de más abajo.
¿Cómo se manejan las fechas hégira?
El texto árabe escribe las fechas de muchas formas: ١٥/٦/١٤٤٥هـ, ١٥ جمادى الآخرة ١٤٤٥ o una fecha gregoriana con nombres de mes que varían según la región (نوفمبر en Egipto y el Golfo, تشرين الثاني en el Levante). Un modelo suele poder separarlas en partes, y el código verifica las partes. Convertir entre calendarios es aritmética sobre una tabla publicada, y no hay motivo para que un modelo lo haga bien.
hijridate, antes hijri-converter, convierte usando el calendario Umm al-Qura. Su rango documentado va de 1343 a 1500 AH (del 1 de agosto de 1924 al 16 de noviembre de 2077 d. C.). Fuera de rango lanza OverflowError; un mes o día no válido lanza ValueError, por eso el código captura ambos. Su documentación dice que no está pensada para fines religiosos en los que se prefiere el avistamiento de la luna creciente, así que una fecha fijada por avistamiento puede diferir del valor convertido. Guarde la fecha tal como está escrita junto a la convertida.
Los dígitos arábigo-orientales no necesitan tratamiento especial aquí: el modelo devuelve enteros. Si analiza fechas por su cuenta, convierta primero ٠١٢٣٤٥٦٧٨٩ (y los persas ۰–۹) a 0–9.
¿Y los nombres en arabizi y el texto mixto?
Los mensajes de clientes a menudo escriben los nombres en letras latinas: “ana 7a2ool la Mo7ammad bokra”. La regla del fragmento exacto sigue funcionando: el texto de la entidad es “Mo7ammad” y la verificación de subcadena pasa. Lo que falla es vincular ese registro con محمد en su CRM. Hágalo en un segundo paso: convierta el fragmento a escritura árabe, como en cómo manejar el arabizi, y compárelo con sus registros usando la misma normalización. Mantenga un indicador de confianza en todo registro que haya pasado por una conversión.
Lo mismo aplica a los nombres de empresas en inglés dentro de frases en árabe, y a las grafías latinas de nombres árabes (Mohammed, Muhammad, Mohamed). No pida al paso de extracción que elija una grafía.
¿Cómo se evalúa el extractor?
Etiquete a mano de 100 a 200 muestras reales, con la misma lista de tipos. Después compare las predicciones con coincidencia exacta a nivel de entidad sobre el texto normalizado y el tipo, e informe precisión, exhaustividad y F1 por tipo:
from collections import Counter
def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
"""Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
tp, fp, fn = Counter(), Counter(), Counter()
for g, p in zip(gold, pred):
G = Counter((norm(e["text"]), e["type"]) for e in g)
P = Counter((norm(e["text"]), e["type"]) for e in p)
for (t, ty), n in (G | P).items():
hit = min(G[(t, ty)], P[(t, ty)])
tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
def prf(a, b, c):
p = a / (a + b) if a + b else 0.0
r = a / (a + c) if a + c else 0.0
return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
return out
En un conjunto de juguete de dos frases (tres entidades de referencia; la predicción tipificó جدة como ORG en vez de LOCATION y añadió un lugar de más), imprimió una precisión micro de 0.5, una exhaustividad de 0.667 y un F1 de 0.571, y un F1 de 0 para LOCATION. La vista por tipo le muestra dónde invertir esfuerzo: una puntuación baja en ORG suele significar que sus definiciones de tipo necesitan ejemplos, no un modelo más grande.
Decida de antemano qué cuenta como coincidencia. La coincidencia exacta es estricta: «شركة النخيل» frente a una referencia «شركة النخيل للتقنية» cuenta como un falso positivo y un falso negativo. Si para su uso son aceptables los fragmentos parciales, informe una segunda puntuación basada en solapamiento, pero mantenga la estricta como cifra principal.
¿Qué modelo de BroadNet conviene usar?
Todos los precios son por 1M de tokens, según la página de precios de BroadNet.
| Modelo | Por qué | Entrada / salida |
|---|---|---|
| Qwen3.8 27B | Salida estructurada documentada; según BroadNet, probado en árabe, incluida la comprensión de los dialectos del Golfo y egipcio; lee imágenes | $0.175 / $2.17 |
| GLM 5.3 | Salida estructurada documentada; contexto de 1,048,576 tokens para documentos muy largos | $0.78 / $3.46 |
| Gemma 4 VL 26B | Funciona con el crédito inicial de $5; sin salida estructurada documentada, así que valide el JSON obtenido solo con el prompt; contexto de 32,768 tokens | $0.10 / $0.22 |
Ejecute el script de evaluación con su muestra y cada candidato, y elija según el F1 por tipo y el costo, no según la descripción del proveedor. El árabe suele requerir más tokens que el inglés para el mismo contenido; tokens por palabra en árabe recoge proporciones medidas. Para entidades dentro de formularios escaneados o fotos, extráigalas directamente de la imagen, como en leer facturas en árabe con visión.
Dónde encaja BroadNet Inference
BroadRouter es el sitio web de BroadNet. BroadNet Inference le da acceso compatible con OpenAI a los modelos anteriores con una sola clave, así que el código funciona con el SDK de OpenAI para Python tras cambiar la base URL. Su documentación indica que los prompts y las respuestas no se conservan tras la solicitud, lo que importa cuando el texto está lleno de nombres de personas. No tiene un endpoint dedicado de NER ni publica un benchmark propio de NER en árabe, así que mida con sus datos. Si necesita un etiquetador autoalojado para grandes volúmenes, un modelo ajustado con Wojood o con sus propias etiquetas puede ser más barato y consistente que cualquier LLM; la diferencia publicada arriba es el motivo para comprobarlo.
