Las tareas de clasificación en árabe están en todas partes: ¿esta reseña es positiva?, ¿este mensaje de WhatsApp es una queja?, ¿qué equipo debe recibir este ticket?, ¿es urgente? Antes de los LLM, cada tarea necesitaba un conjunto de datos etiquetado y un modelo con fine-tuning. Ahora puede empezar con un prompt. Es más rápido, pero es fácil lanzar un clasificador que se ve bien con diez ejemplos y falla con el dialecto del Golfo. Este artículo cubre el prompt, el formato de salida, la prueba y el costo.
¿Qué tareas de clasificación se adaptan a un LLM?
| Tarea | Etiquetas, por ejemplo | Notas |
|---|---|---|
| Sentimiento | positive, negative, neutral, mixed | Neutral y mixto son donde más discrepan personas y modelos |
| Intención | complaint, question, order, cancel, other | Mantenga «other»; forzar una etiqueta genera errores |
| Enrutamiento de tickets | billing, delivery, technical, account | Base las etiquetas en sus equipos reales |
| Urgencia | urgent, normal | Defina urgente en una línea: «el cliente no puede usar el servicio ahora» |
| Dialecto o escritura | MSA, Gulf, Egyptian, Levantine, Arabizi | Útil para enrutar a la plantilla de respuesta correcta; consulte arabizi |
| Etiquetas de tema | Varias etiquetas de una lista fija | Pida una lista y limite su longitud |
Un LLM encaja bien cuando tiene pocos ejemplos etiquetados, cuando las etiquetas cambian a menudo o cuando quiere un motivo con cada etiqueta. Un clasificador con fine-tuning encaja bien cuando las etiquetas son estables, el volumen es enorme y ya tiene miles de ejemplos etiquetados.
¿Qué dice la investigación sobre los LLM en árabe?
Conviene conocer dos resultados antes de empezar:
- Los modelos árabes con fine-tuning pueden ganar. GPTAraEval probó ChatGPT en 44 tareas en árabe y encontró que era “consistently surpassed by smaller models that have undergone finetuning on Arabic” (Traducción: superado sistemáticamente por modelos más pequeños con fine-tuning en árabe). Los autores también encontraron resultados más débiles en dialectos que en árabe estándar moderno (Khondaker et al.).
- Los prompts adaptados al dialecto ayudan. Un estudio de RANLP 2025 sobre DeepSeek-R1, Qwen2.5 y LLaMA-3 en análisis de sentimiento en MSA, dialecto saudí y darija marroquí reporta que los prompts adaptados al dialecto mejoraron la precisión, sobre todo en las clases neutral y negativa (Alharbi et al.).
Son modelos más antiguos o distintos de los que usará, así que tómelos como orientación, no como cifras. La lección se mantiene: mida con sus propios mensajes, por dialecto.
¿Cómo se diseñan las etiquetas?
Empiece aquí, no por el modelo.
- Mantenga la lista corta. De cuatro a ocho etiquetas por pregunta. Haga las preguntas separadas (sentimiento, intención, urgencia) como campos separados, no como una lista gigante.
- Defina cada etiqueta en una línea, incluyendo lo que no es: «complaint: el cliente reporta un problema con algo que compró. No es una pregunta sobre el precio».
- Añada una etiqueta de escape como
otherounclear. - Decida de antemano los casos mixtos. «La entrega llegó tarde, pero el repartidor fue amable» es mixto, no neutral. Deje esa regla por escrito.
Las definiciones de las etiquetas pueden estar en inglés aunque el texto esté en árabe. Mantenga los valores de las etiquetas en inglés para que su código no dependa de comparar cadenas en árabe.
¿Qué prompt funciona para clasificar árabe?
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]
SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.
Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""
def classify(text):
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
temperature=0,
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}])
out = json.loads(r.choices[0].message.content)
if out.get("label") not in LABELS:
raise ValueError(f"bad label: {out}")
return out
Por qué está cada parte:
- La línea de dialectos le dice al modelo qué esperar; es el prompt adaptado al dialecto que el estudio de RANLP encontró útil.
- Ejemplos en más de un dialecto. Los ejemplos de arriba mezclan dialecto del Golfo y egipcio. Use mensajes reales (anonimizados) de su propio tráfico.
- La evidencia como cita permite a un revisor comprobar una etiqueta en un segundo y facilita detectar suposiciones.
reasoning_effort="low". Qwen3.8 27B, GLM 5.3 y DeepSeek V4.1 Flash razonan antes de responder, y el razonamiento cuenta dentro demax_tokens. La documentación de BroadNet sugiere configurarreasoning_effortenlowo dejar 1,000 tokens o más. Por qué, si no, las respuestas llegan vacías.- Rechace en el código las etiquetas desconocidas. Nunca confíe en que el modelo se mantenga dentro de la lista.
Para un contrato de salida más estricto, consulte JSON mode vs json_schema. BroadNet lista salida estructurada para GLM 5.3 y Qwen3.8 27B.
¿Qué modelo de BroadNet debería usar?
| Modelo | Por qué elegirlo | Entrada / salida por 1M de tokens |
|---|---|---|
| Qwen3.8 27B | Probado por BroadNet en árabe: entiende los dialectos del Golfo y egipcio; salida estructurada listada | $0.175 / $2.17 |
| BroadNet Gemma 4 VL 26B | El precio por token más bajo de BroadNet; funciona con el crédito inicial de $5; salida estructurada no listada, así que valide la salida con rigor | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | También con un plan de tarifa plana a $60 al mes por sesión, una solicitud a la vez | $0.175 / $0.52 |
| GLM 5.3 | Salida estructurada listada; el precio más alto de los cuatro | $0.78 / $3.46 |
Ejecute primero su conjunto de prueba en Qwen3.8 27B y Gemma 4 VL 26B. Si las puntuaciones de Gemma se acercan lo suficiente, es la opción más barata para etiquetas cortas. Elija según sus cifras, no según esta tabla.
¿Cómo se prueba el clasificador?
- Etiquete 200 mensajes reales a mano, con un hablante nativo, usando las definiciones de etiquetas de arriba. Incluya todos los dialectos que recibe, al menos 30 de cada uno.
- Ejecute el modelo con los 200.
- Calcule macro F1, el promedio de las puntuaciones F1 por etiqueta, para que las etiquetas raras cuenten tanto como las comunes. La exactitud sola oculta un modelo que nunca dice
cancel. - Lea la matriz de confusión. Si
questionycomplaintse intercambian a menudo, las definiciones se solapan: corrija las definiciones antes de cambiar el modelo. - Separe los resultados por dialecto. Un modelo puede ser fuerte en MSA y débil en el dialecto del Golfo.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
Vuelva a ejecutar el mismo conjunto cada vez que cambie el prompt o el modelo. Cómo evaluar un LLM antes de cambiar explica cómo mantener un conjunto de prueba fijo.
¿Cómo se clasifica a gran volumen?
La clasificación pesa sobre todo en la entrada: un prompt de sistema largo, un mensaje corto y una respuesta de una palabra. Importan tres palancas.
Agrupe mensajes por solicitud. Una clave de pago por uso de BroadNet permite 30 solicitudes por minuto y 4 en curso. Un mensaje por solicitud lo limita a 30 mensajes por minuto por clave, o 1,440 veces esa cifra al día. Envíe 20 mensajes cortos como lista numerada y pida un array JSON de 20 resultados: el mismo límite de tasa cubre entonces veinte veces más mensajes. Compruebe que la longitud del array coincide y que cada elemento lleva su número.
Mantenga idéntico el prefijo del prompt. El prompt de sistema y los ejemplos son los mismos en cada llamada. Póngalos primero y el mensaje al final, para que puedan leerse desde la caché al precio de entrada en caché, como $0.0435 en lugar de $0.175 por 1M en Qwen3.8 27B. Cómo estructurar prompts para que el prefijo se guarde en caché.
Mantenga corta la salida. Los tokens de salida cuestan más que los de entrada. Basta con una etiqueta y una cita breve; quite el campo de evidencia cuando confíe en el modelo.
El árabe suele necesitar más tokens por palabra que el inglés, así que cuente una muestra de sus mensajes en el contador de tokens en árabe y luego calcule el mes en la calculadora de costo de API de LLM.
¿Qué errores debe evitar?
- Probar con traducciones al inglés. El texto traducido no es como escriben sus clientes.
- Una sola puntuación para todos los dialectos. Reporte cada dialecto por separado.
- Sin etiqueta de escape. Forzar cada mensaje a una etiqueta real infla los errores.
- Respuestas de texto libre. «Parece negativo» no se puede parsear. Pida JSON y valídelo.
- Ignorar el sarcasmo. «ما شاء الله، ثالث مرة يتأخر الطلب» («qué maravilla, tercera vez que se retrasa el pedido») parece positivo palabra por palabra y es una queja. Ponga un ejemplo así en el prompt.
¿Cuándo un LLM es el clasificador equivocado?
Cuando las etiquetas son estables, ya tiene miles de ejemplos etiquetados y el volumen se cuenta en millones, un modelo codificador árabe con fine-tuning suele ser más barato por mensaje y, según GPTAraEval, puede ser más preciso. Para grandes trabajos sin conexión que pueden esperar, un proveedor con batch API también puede costar menos: OpenAI anuncia un descuento del 50 % para trabajos batch completados en 24 horas. BroadNet no tiene batch API. Un patrón común es usar un LLM para etiquetar los primeros miles de mensajes, revisarlos a mano y entrenar un modelo pequeño con el resultado.
Dónde encaja BroadNet Inference
BroadNet le ofrece un modelo probado en árabe (Qwen3.8 27B), un modelo barato con el crédito inicial (Gemma 4 VL 26B) y una opción de tarifa plana (DeepSeek V4.1 Flash) tras una sola clave compatible con OpenAI, sin conservar el contenido de los mensajes después de la solicitud. Eso se adapta a equipos de soporte que quieren clasificar mensajes en árabe sin construir un pipeline de entrenamiento. No se adapta a trabajos sin conexión muy grandes en los que un descuento batch o un modelo con fine-tuning costaría menos. Empiece con el prompt de arriba, la prueba de 200 mensajes y el artículo sobre dialectos del Golfo, egipcio y levantino para armar el conjunto de prueba.
