BroadRouter

Clasificar texto en árabe con un LLM: sentimiento, intención, triaje

Por el equipo de BroadNet Inference · 7 min de lectura · Publicado · Actualizado

Para clasificar texto en árabe con un LLM, defina un conjunto corto de etiquetas con definiciones de una línea, dé algunos ejemplos etiquetados en cada dialecto que recibe, pida JSON con una etiqueta y una cita breve como evidencia, y configure el razonamiento en low. Luego evalúe el modelo con 200 mensajes etiquetados a mano usando macro F1 antes de confiar en él. Los modelos árabes con fine-tuning aún pueden superar a un LLM general.

Las tareas de clasificación en árabe están en todas partes: ¿esta reseña es positiva?, ¿este mensaje de WhatsApp es una queja?, ¿qué equipo debe recibir este ticket?, ¿es urgente? Antes de los LLM, cada tarea necesitaba un conjunto de datos etiquetado y un modelo con fine-tuning. Ahora puede empezar con un prompt. Es más rápido, pero es fácil lanzar un clasificador que se ve bien con diez ejemplos y falla con el dialecto del Golfo. Este artículo cubre el prompt, el formato de salida, la prueba y el costo.

¿Qué tareas de clasificación se adaptan a un LLM?

Tarea Etiquetas, por ejemplo Notas
Sentimiento positive, negative, neutral, mixed Neutral y mixto son donde más discrepan personas y modelos
Intención complaint, question, order, cancel, other Mantenga «other»; forzar una etiqueta genera errores
Enrutamiento de tickets billing, delivery, technical, account Base las etiquetas en sus equipos reales
Urgencia urgent, normal Defina urgente en una línea: «el cliente no puede usar el servicio ahora»
Dialecto o escritura MSA, Gulf, Egyptian, Levantine, Arabizi Útil para enrutar a la plantilla de respuesta correcta; consulte arabizi
Etiquetas de tema Varias etiquetas de una lista fija Pida una lista y limite su longitud

Un LLM encaja bien cuando tiene pocos ejemplos etiquetados, cuando las etiquetas cambian a menudo o cuando quiere un motivo con cada etiqueta. Un clasificador con fine-tuning encaja bien cuando las etiquetas son estables, el volumen es enorme y ya tiene miles de ejemplos etiquetados.

¿Qué dice la investigación sobre los LLM en árabe?

Conviene conocer dos resultados antes de empezar:

  • Los modelos árabes con fine-tuning pueden ganar. GPTAraEval probó ChatGPT en 44 tareas en árabe y encontró que era “consistently surpassed by smaller models that have undergone finetuning on Arabic” (Traducción: superado sistemáticamente por modelos más pequeños con fine-tuning en árabe). Los autores también encontraron resultados más débiles en dialectos que en árabe estándar moderno (Khondaker et al.).
  • Los prompts adaptados al dialecto ayudan. Un estudio de RANLP 2025 sobre DeepSeek-R1, Qwen2.5 y LLaMA-3 en análisis de sentimiento en MSA, dialecto saudí y darija marroquí reporta que los prompts adaptados al dialecto mejoraron la precisión, sobre todo en las clases neutral y negativa (Alharbi et al.).

Son modelos más antiguos o distintos de los que usará, así que tómelos como orientación, no como cifras. La lección se mantiene: mida con sus propios mensajes, por dialecto.

¿Cómo se diseñan las etiquetas?

Empiece aquí, no por el modelo.

  1. Mantenga la lista corta. De cuatro a ocho etiquetas por pregunta. Haga las preguntas separadas (sentimiento, intención, urgencia) como campos separados, no como una lista gigante.
  2. Defina cada etiqueta en una línea, incluyendo lo que no es: «complaint: el cliente reporta un problema con algo que compró. No es una pregunta sobre el precio».
  3. Añada una etiqueta de escape como other o unclear.
  4. Decida de antemano los casos mixtos. «La entrega llegó tarde, pero el repartidor fue amable» es mixto, no neutral. Deje esa regla por escrito.

Las definiciones de las etiquetas pueden estar en inglés aunque el texto esté en árabe. Mantenga los valores de las etiquetas en inglés para que su código no dependa de comparar cadenas en árabe.

¿Qué prompt funciona para clasificar árabe?

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]

SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.

Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""

def classify(text):
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        temperature=0,
        reasoning_effort="low",
        max_tokens=1000,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}])
    out = json.loads(r.choices[0].message.content)
    if out.get("label") not in LABELS:
        raise ValueError(f"bad label: {out}")
    return out

Por qué está cada parte:

  • La línea de dialectos le dice al modelo qué esperar; es el prompt adaptado al dialecto que el estudio de RANLP encontró útil.
  • Ejemplos en más de un dialecto. Los ejemplos de arriba mezclan dialecto del Golfo y egipcio. Use mensajes reales (anonimizados) de su propio tráfico.
  • La evidencia como cita permite a un revisor comprobar una etiqueta en un segundo y facilita detectar suposiciones.
  • reasoning_effort="low". Qwen3.8 27B, GLM 5.3 y DeepSeek V4.1 Flash razonan antes de responder, y el razonamiento cuenta dentro de max_tokens. La documentación de BroadNet sugiere configurar reasoning_effort en low o dejar 1,000 tokens o más. Por qué, si no, las respuestas llegan vacías.
  • Rechace en el código las etiquetas desconocidas. Nunca confíe en que el modelo se mantenga dentro de la lista.

Para un contrato de salida más estricto, consulte JSON mode vs json_schema. BroadNet lista salida estructurada para GLM 5.3 y Qwen3.8 27B.

¿Qué modelo de BroadNet debería usar?

Modelo Por qué elegirlo Entrada / salida por 1M de tokens
Qwen3.8 27B Probado por BroadNet en árabe: entiende los dialectos del Golfo y egipcio; salida estructurada listada $0.175 / $2.17
BroadNet Gemma 4 VL 26B El precio por token más bajo de BroadNet; funciona con el crédito inicial de $5; salida estructurada no listada, así que valide la salida con rigor $0.10 / $0.22
DeepSeek V4.1 Flash También con un plan de tarifa plana a $60 al mes por sesión, una solicitud a la vez $0.175 / $0.52
GLM 5.3 Salida estructurada listada; el precio más alto de los cuatro $0.78 / $3.46

Ejecute primero su conjunto de prueba en Qwen3.8 27B y Gemma 4 VL 26B. Si las puntuaciones de Gemma se acercan lo suficiente, es la opción más barata para etiquetas cortas. Elija según sus cifras, no según esta tabla.

¿Cómo se prueba el clasificador?

  1. Etiquete 200 mensajes reales a mano, con un hablante nativo, usando las definiciones de etiquetas de arriba. Incluya todos los dialectos que recibe, al menos 30 de cada uno.
  2. Ejecute el modelo con los 200.
  3. Calcule macro F1, el promedio de las puntuaciones F1 por etiqueta, para que las etiquetas raras cuenten tanto como las comunes. La exactitud sola oculta un modelo que nunca dice cancel.
  4. Lea la matriz de confusión. Si question y complaint se intercambian a menudo, las definiciones se solapan: corrija las definiciones antes de cambiar el modelo.
  5. Separe los resultados por dialecto. Un modelo puede ser fuerte en MSA y débil en el dialecto del Golfo.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))

Vuelva a ejecutar el mismo conjunto cada vez que cambie el prompt o el modelo. Cómo evaluar un LLM antes de cambiar explica cómo mantener un conjunto de prueba fijo.

¿Cómo se clasifica a gran volumen?

La clasificación pesa sobre todo en la entrada: un prompt de sistema largo, un mensaje corto y una respuesta de una palabra. Importan tres palancas.

Agrupe mensajes por solicitud. Una clave de pago por uso de BroadNet permite 30 solicitudes por minuto y 4 en curso. Un mensaje por solicitud lo limita a 30 mensajes por minuto por clave, o 1,440 veces esa cifra al día. Envíe 20 mensajes cortos como lista numerada y pida un array JSON de 20 resultados: el mismo límite de tasa cubre entonces veinte veces más mensajes. Compruebe que la longitud del array coincide y que cada elemento lleva su número.

Mantenga idéntico el prefijo del prompt. El prompt de sistema y los ejemplos son los mismos en cada llamada. Póngalos primero y el mensaje al final, para que puedan leerse desde la caché al precio de entrada en caché, como $0.0435 en lugar de $0.175 por 1M en Qwen3.8 27B. Cómo estructurar prompts para que el prefijo se guarde en caché.

Mantenga corta la salida. Los tokens de salida cuestan más que los de entrada. Basta con una etiqueta y una cita breve; quite el campo de evidencia cuando confíe en el modelo.

El árabe suele necesitar más tokens por palabra que el inglés, así que cuente una muestra de sus mensajes en el contador de tokens en árabe y luego calcule el mes en la calculadora de costo de API de LLM.

¿Qué errores debe evitar?

  • Probar con traducciones al inglés. El texto traducido no es como escriben sus clientes.
  • Una sola puntuación para todos los dialectos. Reporte cada dialecto por separado.
  • Sin etiqueta de escape. Forzar cada mensaje a una etiqueta real infla los errores.
  • Respuestas de texto libre. «Parece negativo» no se puede parsear. Pida JSON y valídelo.
  • Ignorar el sarcasmo. «ما شاء الله، ثالث مرة يتأخر الطلب» («qué maravilla, tercera vez que se retrasa el pedido») parece positivo palabra por palabra y es una queja. Ponga un ejemplo así en el prompt.

¿Cuándo un LLM es el clasificador equivocado?

Cuando las etiquetas son estables, ya tiene miles de ejemplos etiquetados y el volumen se cuenta en millones, un modelo codificador árabe con fine-tuning suele ser más barato por mensaje y, según GPTAraEval, puede ser más preciso. Para grandes trabajos sin conexión que pueden esperar, un proveedor con batch API también puede costar menos: OpenAI anuncia un descuento del 50 % para trabajos batch completados en 24 horas. BroadNet no tiene batch API. Un patrón común es usar un LLM para etiquetar los primeros miles de mensajes, revisarlos a mano y entrenar un modelo pequeño con el resultado.

Dónde encaja BroadNet Inference

BroadNet le ofrece un modelo probado en árabe (Qwen3.8 27B), un modelo barato con el crédito inicial (Gemma 4 VL 26B) y una opción de tarifa plana (DeepSeek V4.1 Flash) tras una sola clave compatible con OpenAI, sin conservar el contenido de los mensajes después de la solicitud. Eso se adapta a equipos de soporte que quieren clasificar mensajes en árabe sin construir un pipeline de entrenamiento. No se adapta a trabajos sin conexión muy grandes en los que un descuento batch o un modelo con fine-tuning costaría menos. Empiece con el prompt de arriba, la prueba de 200 mensajes y el artículo sobre dialectos del Golfo, egipcio y levantino para armar el conjunto de prueba.

Preguntas frecuentes

¿Puede un LLM hacer análisis de sentimiento en árabe?

Sí, sin entrenamiento, con un prompt que incluya etiquetas y ejemplos. La calidad varía según el dialecto y la clase: en pruebas publicadas, los modelos quedan por detrás de modelos árabes con fine-tuning en muchas tareas, y los dialectos puntúan más bajo que el árabe estándar moderno. Mídalo con sus propios datos.

¿Es mejor un LLM que un modelo BERT árabe con fine-tuning para clasificar?

No siempre. GPTAraEval encontró que ChatGPT era "consistently surpassed by smaller models that have undergone finetuning on Arabic" (Traducción: superado sistemáticamente por modelos más pequeños con fine-tuning en árabe) en 44 tareas. Un LLM gana cuando tiene pocos ejemplos etiquetados, etiquetas que cambian a menudo o necesita un motivo con cada etiqueta.

¿Cómo clasifico mensajes en árabe del Golfo y egipcio?

Dé al modelo ejemplos etiquetados en cada dialecto, dígale qué dialectos esperar y evalúe cada dialecto por separado. Un modelo que funciona bien con reseñas egipcias puede no captar el sarcasmo del Golfo.

¿Cómo obtengo la misma etiqueta cada vez?

Use una lista fija de etiquetas, pida JSON solo con esos valores, ponga temperature en 0 y rechace cualquier respuesta que no esté en la lista. Envíe los mismos ejemplos en el mismo orden para que los resultados sean repetibles.

¿Cuántos mensajes puedo clasificar al día en BroadNet?

Una clave de pago por uso permite 30 solicitudes por minuto y 4 simultáneas. Con un mensaje por solicitud, eso da como máximo 30 mensajes por minuto por clave, o 1,440 veces esa cifra al día. Poner 20 mensajes cortos en cada solicitud lo multiplica por veinte, dentro del límite de contexto.

¿BroadNet tiene una batch API para clasificación masiva?

No. BroadNet solo documenta chat completions y transcripción. Para trabajos grandes sin conexión, agrupe mensajes por solicitud, o compare con un proveedor que tenga batch API; la Batch API de OpenAI anuncia un descuento del 50 % con una ventana de 24 horas.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity