Nasa lahat ng dako ang mga Arabic classification job: positibo ba ang review na ito, reklamo ba ang WhatsApp message na ito, aling team ang dapat makatanggap ng ticket na ito, urgent ba ito. Bago ang mga LLM, kailangan ng bawat job ng may-label na dataset at fine-tuned na model. Ngayon, puwede kang magsimula sa isang prompt. Mas mabilis iyon, pero madaling mag-ship ng classifier na mukhang maayos sa sampung halimbawa at pumapalpak sa Gulf dialect. Tinatalakay ng post na ito ang prompt, ang format ng output, ang test at ang gastos.
Aling mga classification job ang bagay sa LLM?
| Job | Mga label, halimbawa | Mga tala |
|---|---|---|
| Sentiment | positive, negative, neutral, mixed | Sa neutral at mixed pinakamadalas hindi magkasundo ang tao at model |
| Intent | complaint, question, order, cancel, other | Panatilihin ang “other”; nagdudulot ng error ang pamimilit ng label |
| Ticket routing | billing, delivery, technical, account | Ibatay ang mga label sa totoong mga team mo |
| Urgency | urgent, normal | Ilarawan ang urgent sa isang linya: “hindi magamit ng customer ang serbisyo ngayon” |
| Dialect o script | MSA, Gulf, Egyptian, Levantine, Arabizi | Kapaki-pakinabang sa pag-route sa tamang reply template; tingnan ang Arabizi |
| Topic tag | Ilang label mula sa fixed na listahan | Humingi ng listahan, lagyan ng limit ang haba |
Bagay ang LLM kapag kakaunti ang may-label na halimbawa mo, kapag madalas magbago ang mga label, o kapag gusto mo ng dahilan sa bawat label. Bagay ang fine-tuned na classifier kapag stable ang mga label, napakalaki ng volume at may libu-libo ka nang may-label na halimbawa.
Ano ang sinasabi ng research tungkol sa mga LLM sa Arabic?
Dalawang resulta ang dapat mong malaman bago magsimula:
- Puwedeng manalo ang mga fine-tuned na Arabic model. Sinubok ng GPTAraEval ang ChatGPT sa 44 na Arabic task at natuklasang ito ay “consistently surpassed by smaller models that have undergone finetuning on Arabic” (salin: palaging nalalampasan ng mas maliliit na model na na-finetune sa Arabic). Natuklasan din ng mga may-akda na mas mahina ang resulta sa mga dialect kaysa sa Modern Standard Arabic (Khondaker et al.).
- Nakakatulong ang dialect-aware na prompt. Iniuulat ng isang pag-aaral sa RANLP 2025 tungkol sa DeepSeek-R1, Qwen2.5 at LLaMA-3 sa sentiment sa MSA, Saudi dialect at Moroccan Darija na pinahusay ng dialect-aware na prompting ang accuracy, lalo na para sa neutral at negative na class (Alharbi et al.).
Mas luma o iba ang mga model na ito sa gagamitin mo, kaya ituring silang direksyon, hindi numero. Totoo pa rin ang aral: sukatin sa sarili mong mga mensahe, kada dialect.
Paano idisenyo ang mga label?
Dito magsimula, hindi sa model.
- Panatilihing maikli ang listahan. Apat hanggang walong label kada tanong. Gawing magkakahiwalay na field ang magkakahiwalay na tanong (sentiment, intent, urgency), hindi iisang napakahabang listahan.
- Ilarawan ang bawat label sa isang linya, kasama kung ano ito hindi: “complaint: nag-uulat ang customer ng problema sa isang binili niya. Hindi tanong tungkol sa presyo.”
- Magdagdag ng escape label gaya ng
otherounclear. - Pagpasyahan agad ang mga mixed na kaso. Mixed, hindi neutral, ang “Na-late ang delivery pero mabait ang driver”. Isulat ang patakarang iyon.
Puwedeng nasa English ang depinisyon ng label kahit Arabic ang text. Panatilihing English ang mga value ng label para hindi umasa ang code mo sa pag-match ng Arabic na string.
Anong prompt ang gumagana para sa Arabic classification?
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]
SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.
Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""
def classify(text):
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
temperature=0,
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}])
out = json.loads(r.choices[0].message.content)
if out.get("label") not in LABELS:
raise ValueError(f"bad label: {out}")
return out
Kung bakit naroon ang bawat bahagi:
- Ang linya tungkol sa dialect ang nagsasabi sa model kung ano ang aasahan, na siyang dialect-aware na prompting na nakitang nakakatulong ng pag-aaral sa RANLP.
- Mga halimbawa sa higit sa isang dialect. Pinaghahalo ng mga halimbawa sa itaas ang Gulf at Egyptian na dialect. Gumamit ng totoong (anonymised) na mensahe mula sa sarili mong traffic.
- Ebidensya bilang quote para masuri ng reviewer ang label sa isang segundo, at para mas madaling makita ang mga hula.
reasoning_effort="low". Nagre-reason muna ang Qwen3.8 27B, GLM 5.3 at DeepSeek V4.1 Flash bago sumagot, at kasama samax_tokensang reasoning. Iminumungkahi ng docs ng BroadNet na itakda angreasoning_effortsalowo mag-iwan ng 1,000 token o higit pa. Kung bakit walang laman ang mga sagot kapag hindi.- Tanggihan sa code ang mga hindi kilalang label. Huwag kailanman magtiwala na mananatili ang model sa listahan.
Para sa mas mahigpit na kontrata sa output, tingnan ang JSON mode vs json_schema. Naglilista ang BroadNet ng structured output para sa GLM 5.3 at Qwen3.8 27B.
Aling BroadNet model ang dapat mong gamitin?
| Model | Bakit ito pipiliin | Input / output kada 1M token |
|---|---|---|
| Qwen3.8 27B | Sinubok ng BroadNet sa Arabic: naiintindihan ang Gulf at Egyptian na dialect; nakalista ang structured output | $0.175 / $2.17 |
| BroadNet Gemma 4 VL 26B | Pinakamababang presyo kada token sa BroadNet; tumatakbo sa $5 na panimulang credit; hindi nakalista ang structured output, kaya mahigpit na i-validate ang output | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | Nasa flat na plan din sa $60 kada buwan kada session, isang request sa bawat pagkakataon | $0.175 / $0.52 |
| GLM 5.3 | Nakalista ang structured output; pinakamataas ang presyo sa apat | $0.78 / $3.46 |
Patakbuhin muna ang test set mo sa Qwen3.8 27B at Gemma 4 VL 26B. Kung sapat na kalapit ang score ng Gemma, ito ang mas murang pagpipilian para sa maiikling label. Pumili batay sa mga numero mo, hindi sa table na ito.
Paano i-test ang classifier?
- Mano-manong lagyan ng label ang 200 totoong mensahe, kasama ang isang native speaker, gamit ang mga depinisyon ng label sa itaas. Isama ang bawat dialect na natatanggap mo, hindi bababa sa 30 sa bawat isa.
- Patakbuhin ang model sa lahat ng 200.
- Kalkulahin ang macro F1, ang average ng F1 score kada label, para kasimbigat ng mga karaniwang label ang mga bihira. Tinatago ng accuracy lang ang model na hindi kailanman nagsasabi ng
cancel. - Basahin ang confusion matrix. Kung madalas magpalitan ang
questionatcomplaint, nagsasapawan ang mga depinisyon: ayusin ang mga depinisyon bago palitan ang model. - Hatiin ang resulta ayon sa dialect. Puwedeng malakas ang model sa MSA at mahina sa Gulf.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
Patakbuhin ulit ang parehong set tuwing babaguhin mo ang prompt o ang model. Tinatalakay ng How to evaluate an LLM before switching ang pagpapanatili ng fixed na test set.
Paano mag-classify sa malaking volume?
Mabigat sa input ang classification: mahabang system prompt, maikling mensahe at isang salitang sagot. Tatlong lever ang mahalaga.
Pagsama-samahin ang mga mensahe kada request. Pinapayagan ng isang BroadNet pay-as-you-go key ang 30 request kada minuto at 4 na sabay na tumatakbo. Kapag isang mensahe kada request, hanggang 30 mensahe kada minuto kada key ka lang, o 1,440 beses niyon kada araw. Magpadala ng 20 maikling mensahe bilang numbered na listahan at humingi ng JSON array ng 20 resulta: sakop na ng parehong rate limit ang dalawampung beses na mas maraming mensahe. Suriin na tugma ang haba ng array at may numero ang bawat item.
Panatilihing pareho ang prefix ng prompt. Pareho ang system prompt at mga halimbawa sa bawat call. Ilagay sila sa unahan at ang mensahe sa huli, para mabasa sila mula sa cache sa presyo ng cached input, gaya ng $0.0435 sa halip na $0.175 kada 1M sa Qwen3.8 27B. Paano i-structure ang prompt para ma-cache ang prefix.
Panatilihing maikli ang output. Mas mahal ang output token kaysa sa input. Sapat na ang label at maikling quote; tanggalin ang evidence field kapag pinagkakatiwalaan mo na ang model.
Kadalasang mas maraming token kada salita ang Arabic kaysa sa English, kaya bilangin ang sample ng mga mensahe mo sa Arabic token counter, saka kuwentahin ang buwan sa LLM API cost calculator.
Anong mga pagkakamali ang dapat iwasan?
- Pag-test sa mga English na salin. Hindi ganoon sumulat ang mga customer mo.
- Iisang score para sa lahat ng dialect. Iulat nang hiwalay ang bawat dialect.
- Walang escape label. Pinapalaki ng pamimilit sa bawat mensahe na pumasok sa totoong label ang mga error.
- Free-text na sagot. Hindi ma-parse ang “Mukhang negative ito”. Humingi ng JSON at i-validate.
- Hindi pagpansin sa sarcasm. Mukhang positibo kada salita ang “ما شاء الله، ثالث مرة يتأخر الطلب” (Masha’Allah, pangatlong beses nang na-late ang order) pero reklamo ito. Maglagay ng ganitong halimbawa sa prompt.
Kailan maling classifier ang LLM?
Kapag stable ang mga label, may libu-libo ka nang may-label na halimbawa at milyon-milyon ang volume, kadalasang mas mura kada mensahe ang isang fine-tuned na Arabic encoder model at, ayon sa GPTAraEval, puwedeng mas tumpak. Para sa malalaking offline na job na puwedeng maghintay, puwede ring mas mura ang provider na may batch API: nag-aanunsyo ang OpenAI ng 50% discount para sa mga batch job na natatapos sa loob ng 24 na oras. Walang batch API ang BroadNet. Karaniwang pattern ang paggamit ng LLM para lagyan ng label ang unang ilang libong mensahe, suriin ang mga ito nang mano-mano, at mag-train ng maliit na model sa resulta.
Saan pumapasok ang BroadNet Inference
Binibigyan ka ng BroadNet ng model na nasubok sa Arabic (Qwen3.8 27B), murang model sa panimulang credit (Gemma 4 VL 26B) at flat-rate na opsyon (DeepSeek V4.1 Flash) sa likod ng iisang OpenAI-compatible na key, nang walang itinatagong content ng mensahe pagkatapos ng request. Bagay iyan sa mga support team na gustong mag-classify ng mga Arabic na mensahe nang hindi bumubuo ng training pipeline. Hindi ito bagay sa napakalalaking offline na job kung saan mas mura ang batch discount o fine-tuned na model. Magsimula sa prompt sa itaas, sa test na 200 mensahe, at sa post tungkol sa Gulf, Egyptian at Levantine na dialect para sa pagbuo ng test set.
